美國時間九月二十三日,主持人從矽谷飛到德州奧斯汀,坐進一輛沒有方向盤、也沒有踏板的 Cybercab。等了大概八分鐘。他自己有 Model Y,也開過 Model 3。這台明顯小一圈,感覺比 Model 3 還小,只有兩個位子。他坐在原本該是駕駛座的左側,腳下沒有煞車,也沒有油門,心裡還是有點緊。
緊是有道理的。乘客在緊急時沒辦法做物理接管。影片寫道,特斯拉在後台用遠端人員兜底,網路由 Starlink 撐著,乘客可以一鍵請求路邊停靠,並接通 Robotaxi 的專屬服務。節目組今年五月中旬在奧斯汀已經到處看見 Cybercab,測了幾個月,九月才算跨過一個新里程。馬斯克把這種沒有方向盤的車,說成未來交通的樣子。
截至九月二十二日,特斯拉在德州登記的 Robotaxi 一共四百七十六輛:六十七輛 Cybercab,另外四百零九輛仍是有方向盤的 Model Y。醜聞、訴訟和質疑跟著走了十幾年。FSD 沒停,但進步很苦。馬斯克對人頭和成本卡得很緊,硬體反覆推倒,上線前還在加班改;軟體團隊則一直嫌算力不夠、人也不夠。
二〇一三年跟 Google 拆夥,黑盒先裝上車
二〇一三年,成立十年的特斯拉決定做自動駕駛,第一個想合作的是 Google。高精地圖加光達太貴,對不上馬斯克講的第一性原理。Google 要一步做成 L4,馬斯克要先推 L2,再迭代到 L4。兩邊拆夥,兩條路線吵到現在。特斯拉當時連活下去都費勁,自研談不上,於是找了 Mobileye。
二〇一四年十月的 Autopilot Hardware 1.0 很基礎:一顆前鏡頭、一顆前向毫米波雷達、十二個超音波感測器。晶片是 Mobileye EyeQ3,500 MHz,記憶體 256 MB。在特斯拉近十二年、做過能源、自動駕駛、機器人和 AI 硬體的 Kevin Liu 說,早期車規限制很大,這是沒有別的選擇才用的方案。二〇一五年 Autopilot 軟體上線,只做到車道保持和適應性巡航。那個年代很多車連定速巡航都沒標配,所以已經很驚人。有人在車裡吃漢堡,有人在副駕睡覺,直接把它當成無人駕駛。
二〇一六年五月七日,佛州一輛 Model S 撞上正在左轉的拖掛貨車,車主當場死亡。補助駕駛沒有辨認出那輛貨車。Mobileye 先前警告過,禁止雙手離開方向盤,沒有被當回事。事故是催化劑。真正讓兩邊談崩的,是合作方式。影片把自動駕駛拆成感知、規劃、執行。感知演算法由 Mobileye 壟斷,規劃和控制由特斯拉主導。鏡頭畫面進 EyeQ3,算出結果再交給規劃層,底下是黑盒。受訪工程師說,接口得由兩邊硬性定義,接口以下 Mobileye 不開放。特斯拉想改接口,沒有控制權。分手之後,演算法收回自己做,硬體也換了對象。市場並不買單。
八顆鏡頭不夠,第二顆 GPU 才是冗餘的雛形
事故後五個月,二〇一六年十月的 Hardware 2.0 把鏡頭加到八顆,晶片換成 Nvidia Drive PX2。受訪工程師說,八顆是為以後的全自動駕駛預留,當下算力處理不完每一路。十個月後的 Hardware 2.5 補上冗餘:2.0 是一顆 SoC 外掛一顆 GPU,Nvidia 沒有專門的補助駕駛晶片,馬斯克已在推全自動,晶片壞了得有備案,於是多加一顆 GPU,成為雙晶片的雛形。六個月內自研換掉 Mobileye 演算法,並推出 FSD。初期不順。Mobileye 做了多年,新團隊從零開始,問題可以理解。
AI 3 十八個月流片,量產前三個月幾乎沒休
二〇一九年四月,Hardware 3.0 用自研 AI 3 換掉 Nvidia。這條路在 Mobileye 時期就開始佈。二〇一六年一月,馬斯克挖來 Jim Keller。他在 AMD 做過 K7、K8,在蘋果做過 A4、A5,回到 AMD 做了 Zen,後來去了 Intel。二月,Peter Bannon 加入,進特斯拉前已有近四十年計算系統設計經驗,待過蘋果、Intel、PA Semi,帶過蘋果 A4 到 A9。加上三星團隊,第一顆 FSD 晶片花了十八個月,二〇一七年十二月第一次流片就成功。Kevin Liu 記得,第一次出來基本上沒什麼毛病,小改一版就量產,後面沒再改。做處理器能一次流片就過的是極少數,很多晶片連開機都開不了。當時用的 14 奈米相對成熟。
跟 Hardware 2.5 的 Nvidia Pascal 比,AI 3 的神經網路算力提升五倍以上,其他參數也明顯上去。它為自動駕駛定做。通用晶片還要做執行緒排程、記憶體存取、分支預測,跑神經網路時利用率很難拉高;這顆的有效利用率到百分之八十。影片引用的說明是,二〇一六年沒有從零做起的神經網路加速器,別人只是在 CPU、GPU 或 DSP 上加指令,特斯拉決定做成原生的。
AI 3 正要量產,Jim Keller 離開,硬體交給 Peter Bannon。Kevin Liu 轉述的印象是,Keller 喜歡從零到一,不喜歡從一到十。在蘋果和 AMD,晶片完成之前人就走了。特斯拉當時要做晶片,正好是那種工作。
晶片順利,量產前三個月卻忙到接近崩,因為馬斯克不愛加人。Kevin Liu 說,到今天 FSD 軟體團隊,連機器人那邊的 FSD,人都很少。他們要同時支援還在量產的 Hardware 2.5,又要寫 Hardware 3 的軟體。沒有配套軟體,晶片測試跑不起來,硬體團隊只好自己上傳程式、自己寫指令來測。那三個月是他在特斯拉最忙的一段,幾乎沒休,大概只休了一兩天或兩三天。
自研換來成本和主導權。二〇一八年底公司快破產,整車又用了大量 TI 的車規晶片,希望全部降價,TI 不答應。Kevin Liu 說當時這類晶片利潤平均可以到百分之五十到五十五。他把整套換成功能相當的 ADI,硬體軟體都得重測,還是換。TI 發現這套料占營收很大,執行長出面來求。採購把降價表丟過去:全部降,就改回來。僵持好幾個星期後 TI 答應,那一年大約省下兩千萬美元。馬斯克寫信感謝。
跟 Nvidia 也不乾脆。Kevin Liu 說,到今天 Nvidia 的 Thor 仍是通用晶片,Nvidia 不希望被單一客戶鎖死。配合度更讓馬斯克受不了。有批車要返修,團隊懷疑主機板過熱,只想讀晶片上的溫度感測器。幾行驅動來回扯了約一個星期,對方接著要收費,付了還要再等一個星期。三行程式拖了快半個月。
感知改看影片,雷達在缺貨裡被拿掉
AI 3 在二〇一六年是照卷積神經網路 CNN 設計的。二〇一七年那篇 Attention Is All You Need 隨後改了路線。六月,Google 公開 Transformer,後面催生 ChatGPT。三十歲的 Andrej Karpathy 離開 OpenAI。馬斯克當時還是 OpenAI 聯席董事長,邀他進特斯拉,直接向自己回報。特斯拉的自動駕駛當時在低谷。受訪工程師認為他最大的作用是招募:很多人上過他的課,才有理由進一家車廠。
二〇一八年到二〇二一年,感知連改了四輪。Karpathy 進門先把車道線、車輛、行人交給深度學習,用大量資料訓練,讓系統自己認環境,沒見過的路也還能判斷。任務一多就不夠用:紅綠燈、錐桶、減速丘、施工標誌若各跑一個網路,程式量和車上算力都扛不住。HydraNet 讓所有任務共用底層的特徵萃取網路(backbone),只在頂端分出任務頭(head)。影片把它比成一棵樹,樹幹是共享算力,樹枝是不同的辨識,單一任務可以微調,而不把別的任務帶壞。
早期感知像在看照片,CNN 一張張找車、人、車道線。路上是連續的。小車被巴士擋住的那幾幀,系統得靠前後時刻猜它還在不在。團隊改成看連續幾秒的影片,並預測物體怎麼動。再來,八顆鏡頭原先各看各的,左右都看到一輛車,不清楚是不是同一輛。Transformer 的交叉注意力加上空間變換,把多視角投進同一個俯視座標,做出 2.5D 的鳥瞰圖 BEV。受訪工程師說,學界的多感測器融合也一直有人在做。
二〇二一年,感知開始真的在理解整條路。五月,馬斯克決定拿掉所有毫米波雷達。他早就說過鏡頭就夠,融合多種感測器又重、又增加維修。時間點仍讓內部覺得突然。Kevin Liu 說真實原因是供應鏈:疫情裡雷達供不上,供應商 Continental(Conti)像是談崩了。核心料供不上,採購會升到 Elon,讓他直接跟對方執行長談。不配合的就被拉黑,他的態度是今天不給就不要了。軟體早就被催著在演算法裡拿掉雷達,人手不足,一拖再拖,疫情成了催化劑。測距精度掉下去,只能用純視覺估速度。有人反對,雷達估速度較準,也不怕天氣。
拿掉雷達之後,還得只靠鏡頭做出三維。十四個月後技術放出來。二〇二一年的鳥瞰圖是 2.5D,二〇二二年 AI Day 變成真 3D,靠的是占用網路 Occupancy Network。空間被切成體素(voxel),被佔住就是障礙。長方體框包不住轉彎的兩節公車,也包不住挖土機那支又長又有高度的手臂:有時能從下面開過去,太低就不行。系統不必先認識每一樣東西,也能避障。
訓練需要 ground truth,哪個體素被佔、哪個是空的。傳統靠人工標光達點雲,成本可以是標物體框的十倍以上,而且特斯拉量產車沒有光達。內部用自己的自動標註網路產生標籤,算力也撐得住了,才訓得動。馬斯克對外瞧不起雷達,內部仍有特殊車輛裝光達,專門採這些參考。影片引用的說明是,少數車裝較貴的感測器,就能當成電腦視覺的標註。
Hardware 4:兩顆還是三顆,GDDR 換來容量瓶頸
算力愈來愈緊,二〇二〇年 Hardware 4.0 啟動。2.5 升 3.0 主要是換一顆晶片、加安全冗餘;這次是全系統重做。電路板裝不下更大的晶片、更多的記憶體和電源,老車主不能再像以前那樣免費升到下一代硬體。鏡頭從一百二十萬畫素提到五百萬。車載先看耐熱、抗震和壽命,看清一定距離就夠,幀率比堆畫素重要。Kevin Liu 說,五百萬畫素讓 CMOS 功耗變大,電線得更粗,訊號還要走一到三公尺才到車身中段,做不到手機那種一億畫素。
位置也被改。前擋風原本三顆鏡頭,馬斯克砍掉一顆。他問,人只有兩隻眼,為什麼要放那麼多。意見不合就拍桌罵髒話。雷達拿掉之後,前保險桿成了盲區,停車可能撞上。團隊建議車頭再補一顆。他說人入庫前也看不到車頭下面。人有記憶,車沒有,記憶得另訓一個模型。後來從 Cybertruck 起,前保險桿又加回鏡頭。Kevin Liu 說,Elon 知道自己可能不對,公司也改得很快。
Hardware 3.0 是兩顆各 72 TOPS 的 AI 3。Hardware 4.0 單顆 AI 4 算力已經翻倍,軟體還是說兩顆不夠,三顆才能把 FSD 做出來。Elon 答應了,硬體真的做出三晶片。雙晶片是一顆壞了另一顆接管;三顆要決定誰接管,冗餘、供電、訊號都更複雜。量產前一兩個月,專案經理問到底用兩個還是三個。Elon 像是忽然想起,Kevin Liu 猜財務長提過,覺得三個太貴。軟體說研發都開始了。他說最終決定,就是兩個,不用再討論。板子趕在量產前改回去。內部到現在還在爭要不要再加晶片。流傳的玩笑是:你給我十倍,我能把它用掉。Kevin 覺得模型還有空間可收,只是人手太少,力氣都花在把模型做大。
AI 4 仍找三星做,服務卻不如 Hardware 3。外面生意一多,時程嚴重延遲,效果也不夠好,流片大概三四次。特斯拉選了大家沒用過的 GDDR,設計碰上很多困難。模型變大之後,真正卡住 AI 3 的是記憶體頻寬。影片把晶片比成工廠:算力是工人,頻寬是運原料的高速公路。一百個工人,一次只運得進二十個人的材料,另外八十個只好站著。記憶體從 LPDDR、DDR、GDDR 到 HBM,頻寬和功耗一起往上。特斯拉原先用手機、筆電常見的 LPDDR,為了頻寬改選遊戲顯示卡的 GDDR。功耗高、廠商少、價格也高。用了幾年,容量反而成瓶頸。美光或三星不會只為特斯拉做一款車規大容量 GDDR。內部在做 Hardware 4.3,改回 LPDDR,犧牲一點頻寬換容量。Kevin Liu 說他當時是唯一提出來的人,沒有人聽,他認為那是決策失誤。也許不久車上就會看到 4.3。
成本仍壓得很低。他說整套硬體比 MacBook Air 低很多,大約一台普通 iPad。外觀可以不變,每隔幾個月內部大改一次,性能守住,成本下降。AI 3 和 AI 4 也裝進伺服器攤研發成本,晶片相同,接口和訊號不同,跟主打訓練的超級電腦不同。AI 4 伺服器做兩件事:pixel injection,生成類似世界模型的訓練場景;以及推論驗證,把真實路況回放,看 FSD 會怎麼決策,再跟人類駕駛對照。影片說,被稱為 V12.0 的版本在二〇二三年二月裝車,設計得早,沒針對 Transformer 優化,很快過時。緊接著,舊程式碼被推倒,改走端到端。
三十萬行收成兩千行
二〇二二年七月,Karpathy 離開,軟體創始成員 Ashok Elluswamy 接位。外界猜演算法碰到困難,股價跟著跌。Karpathy 說自己滑進管理職,那不是他想做的,他想回到技術。若舊路線繼續,工作會愈來愈像在重複優化。年底 GPT-3.5 震到整個圈子。馬斯克剛買下 Twitter,想調特斯拉工程師去改推薦。Davor Ros 不想走,告訴他自己在做車用的 ChatGPT:用神經網路取代規則,模仿人怎麼開,沒見過的場景也能避障,必要時壓實線閃過去。馬斯克被說動,還想做一段像 007 的示範。Davor 留下。端到端把大約三十萬行程式收成兩千行。
前 AI 軟體工程總監 Srihari 負責過 Robotaxi 和 Optimus 的 AI 工程,以及軟硬體協同。馬斯克點名過他們把車載 AI 電腦的性能做出來,說沒有這個團隊,Robotaxi 做不成。他回憶,端到端在 ChatGPT 之前就開始試,ChatGPT 加速了其中幾條路,團隊人非常少。二〇二三年八月底,馬斯克在自己車上直播第一次公開演示,地圖上的路徑是臨時點的。車自己開,中間闖了一次紅燈,被笑很久。二〇二三年底員工成批收到 FSD V12,二〇二四年一月推向一般車主。特斯拉是第一家把端到端裝上量產車的車廠。想法本身更早:Nvidia 二〇一六年提過,學界一九八九年就有。
V12 若是一整張網路,畫面上的 BEV 從哪來?參與開發的演算法工程師說,網路中間多拉一條 head,專門顯示鳥瞰圖。推論時這條分支像闌尾,只負責顯示。底層雖然重寫,仍沿用了不少 Karpathy 留下的感知。Srihari 說,更好的物體偵測和占用網路,都是下一步的種子。
二〇二四年十一月的 V13 增加參數,拉高接管里程 MPI,加上車位到車位,並針對 AI 4 優化。鏡頭捕到的光子不做前置處理,直接進模型,延遲變短,物體之間的關聯更能被預測,開起來少一點猶豫。幀率和解析度也提高。Hardware 4 的五百萬畫素,先前演算法並沒有用滿,用多少由演算法自己決定。V12 是在驗證端到端走不走得通,V13 則是把控制端簡化,讓同樣的車上電腦跑得更有效率。內部有人拿它比 SpaceX 的 Raptor V3。Srihari 把目標說成 intelligence per watt:電腦很小,就在那一點功耗裡擠智慧。
二〇二五年十月跳過 V14.0,推出 V14.1。馬斯克稱為 V12 之後的第二大更新。參數提升十倍,Robotaxi 的技術第一次大規模流回量產車,並加入強化學習、新的視覺編碼器,以及重寫過的底層 AI 編譯器。Srihari 說這一版是在押縮放定律(scaling laws)。實體 AI 沒有現成文獻,技術棧得自己發明,不能只靠為自迴歸 Transformer 寫好的那套。二〇二五年底,一輛 Model 3 從加州開到南卡羅來納,兩天、兩千七百英里,全程 V14,沒有一次人工介入。
端到端仍是黑盒。上億個 token 進去,只輸出轉向和加減速,模型會學到假相關:人是因為前車煞車燈而減速,它卻可能以為原因是旁邊在晃的樹枝。Ashok Elluswamy 後來說了三條補法。車上先篩,只上傳極限反應、複雜路況、特殊車輛,不把無聊的高速巡航全部收回來。訓練時讓網路額外吐出一個 3D 場景,檢查它在看什麼、空間關係有沒有建對。再把訓練好的 FSD 放進另一個生成式網路做出的世界模型裡開,重播曾經犯錯的片段,也注入新的極端場景。
傳統模擬是人搭場景、定物體、寫物理,再渲染成畫面。世界模型直接生成每個感測器會看到的內容,也能從一段現成影片往後接。即時生成很吃算力;右轉時行人和其他車要怎麼照現實起反應,也很難做真。最新演算法還把音訊送進決策,目前用來聽警笛和救護車,以後才接到車輛控制。Srihari 的理由是,人看得到、聽得到的,就該試著餵給模型。
客戶車上是 L2,拿到許可的 Robotaxi 被當成 L4
二〇二四年十月發表的 Robotaxi 沒有方向盤、沒有踏板。服務晚了一年才開始:二〇二五年六月,奧斯汀先放十到二十輛 Model Y。Kevin Liu 說,不論 Model Y 還是 Cybercab,硬體跟量產車沒有差別;當時為 Cybercab 做的安全冗餘,後來也放進所有車型。差在軟體。Robotaxi 更新更勤,比客戶車上的 FSD 進一點,底層仍是同一個模型。放在一般特斯拉上它還是 L2;放進這批車,再加上政府的 L4 營運許可,它就是 L4。內部最新的版本要長時間測穩,才推給量產車。
測出問題就靠遠端。主持人坐車時沒有那麼擔心,他認為這個階段特斯拉會盡力保住每一輛。等到幾千、上萬、幾十萬輛,怎麼在安全還在的前提下把範圍拉開,才是外面質疑的擴張速度。現場受訪者說,早期戰備室裡隨時有人盯著最初那幾輛,每一公里都有人看,成本裡含著這些人的薪水。安全數字若以後證明夠了,人工比例就會降下來。
奧斯汀上線後一年,加州、舊金山灣區、內華達、亞利桑那等地陸續拿到條件不同的許可。Srihari 認為剩下的是驗證、法規和部署:多快鋪出去、多快拿到回饋、誰有基礎設施能在不同地方擴。FSD V14 跑在 Hardware 4.0 上,又快到瓶頸。下一顆是 AI 5,比 AI 4 更難,內部還出現瞞報。
二〇二五年八月,被馬斯克當成特斯拉 AI 核心基礎設施、華爾街甚至看成潛在數千億美元資產的訓練電腦 Dojo 被叫停,團隊解散。他的解釋是 AI 5、AI 6 拿來訓練也夠用,不必再重複投 Dojo。Kevin Liu 參與了 AI 5,說挫折和隱瞞很大,Peter Bannon 的離開也跟這件事有關。AI 4 跟三星摩擦多,Bannon 決定從 AI 5 起完全自研,不再外包。人手和經驗都不夠。新招了很多人,仍遠少於三星那種幾百、上千人的設計團隊;Hardware 3 和 4 都有三星深度參與,自己單幹很多環節沒做過。
進度被拖住,還因為德州的專案主管隱瞞困難。對台積電一直說再兩個月,這句話講了快一年。Elon 把圖紙送過去,對方說這不是再兩個月,是再一年,根本離流片還遠。他認定晶片團隊沒說實話,拿掉了一批人,包括 Kevin 的老闆和晶片部門主管。Kevin 認為 Pete 沒有參與瞞報,但那個主管直接向他回報,所以有連帶責任。馬斯克之後親自管晶片團隊,兩條路並行:第三方設計公司協助現有 AI 5,仍交台積電;另一顆請三星回來做,也都叫 AI 5。
影片說的今年四月十五日,台積電版本完成第一次流片,預計量產在二〇二七年。馬斯克說特定任務會比 AI 4 快四十倍。業界猜測,搭載 AI 5 的 Hardware 5.0 會到兩千到兩千五百 TOPS。Kevin Liu 認為功能上會很強,而且用了 MCM。兩種製程可能混在同一款車型上,不會混在同一塊板子上,FSD 的體感應該分不出來。他也聽到較新的內部消息:AI 5 有可能不裝上車,因為馬斯克認為 AI 4 已經夠用,AI 5 主要給算力中心和機器人。這還可能再變,影片說以官方宣布為準。
下半場比的是成本和每一次出行
為什麼是特斯拉做出 FSD?Kevin Liu 說,傳統車廠不必講,矽谷有些新技術公司也會衡量很久。特斯拉願意承擔風險,也願意很快用上新技術。Srihari 把資源拿捏說成一門手藝:要押未來的技術,還得把現在的技術往前移。流程不繁雜,力氣放在讓產品變好的事上;算力、人和時間都有限制,因為功能一直在出。
十三年前,特斯拉和 Google 走了相反的路。後來的 Waymo 用更貴的感測器、更嚴的安全冗餘,先在有限區域把無人駕駛做出來,再慢慢擴大。特斯拉把鏡頭裝進幾百萬輛量產車,把一個遠沒成熟的系統交給真實世界,在事故、爭議、返工和軟體更新裡繼續往前。十三年後還沒分出勝負。影片說下半場的名字叫經濟之戰。Waymo 在商業化和實際營運上仍明顯領先。Cybercab 才剛在奧斯汀有限區域跑。美國聯邦監管機構已經對 Cybercab 啟動調查,查設計是否符合安全標準。現在還不能說特斯拉贏了。
十月的 FSD V15,影片說應該要發布。媒體傳出的消息是參數再大十倍,意在支援 Level 4,早期版本已經在 Robotaxi 車隊裡跑。至少到目前,那條被認為太激進的路線還留在牌桌上。沒有安全員、沒有方向盤,面對數百萬次真實出行,它還能不能維持夠穩定的安全,這題才剛開始。Waymo 要比的,則是多地已經在跑的系統能不能繼續擴張、把車隊做大,並且把成本降到大規模商業化。