https://allinchamathjason.libsyn.com/naveen-rao-4d-computing-ais-energy-wall-beating-biology
六月一日，一顆晶片的設計被送進晶圓廠。等它回到實驗室，它已經會生成圖片，一張圖大約花 500 奈焦耳。旁邊放一顆 GPU 當對照，同樣一件事是毫焦耳等級；一奈焦耳是十的負九次方焦耳，差距是好幾個數量級。做出這顆晶片的人是 Naveen Rao，公司叫 Unconventional AI，他在 All-In 這一集裡第一次把這件事講出來。
All-In 的開場介紹把他定位成 AI 晶片新創 Unconventional AI 的共同創辦人兼執行長，也是一路把兩家深科技公司做出來又賣掉的人。他在台上自己補了一句更直白的：他正好是 AI 末日論的相反邊。他認為 AI 會是人類演化的下一步，而他想處理的是底下那層硬體。
一九七八年那台電腦
先從一台電腦講起。一九七八年，他家裡就有一台，那年他大概五、六歲。他學寫程式的理由很單純，覺得那像在解謎。後來他去念電機，一半原因是科幻小說看多了，一直想著要怎麼做出有智慧的機器。等到真的在業界造了一段時間的電腦，他又回學校拿了神經科學博士，動機還是同一件事：怎麼讓電腦變聰明。
創業那條線他講得很簡短。二○一四年，他創了 Nervana Systems，他說那是第一間 AI 晶片公司。那個時候 AI 還不是日常詞彙，要說服別人這件事重要都很難，更別說為它做硬體。他對這種處境的態度是：一樣東西被試過，不代表它就是錯的。後來他把公司賣給 Intel，現在回頭看，他覺得賣得太早；之後他在 Intel 帶 AI 團隊，二○二○年離開。
離開之後他去處理下一個問題：大型語言模型要怎麼變大，於是把 GPU 平台化，讓別人也能拿來訓練自己的模型。ChatGPT 在二○二二年問世之後，他們變成很多人自己做模型時最順手的選擇。這間公司是 MosaicML，二○二三年加入 Databricks，而這塊生意現在大約占 Databricks 總營收的四分之一。
Unconventional AI 要做的事，是回到第一原理，重新想一台電腦該怎麼運作。目標只有一個：把用電效率做上去。原本的時程是五年一千倍，他後來改成三年半，因為進展比預期快；連科學上的難題，都有一部分是靠 AI 更快解掉的。
一間公司一個月用掉 12 GW
他先用一間公司說明能源的尺度。Google 公開講過，他們一個月處理超過 3.2 quadrillion 個 token（3,200 兆），他自己說他平常根本不會用 quadrillion 這個量級。接著他挑了一個偏低的數字來算：如果每個 token 只吃 10 焦耳，乘出來是每個月 12 GW。
再往外擺一層：美國的資料中心今天大約用掉 40 GW，而美國大約是全球資料中心容量的一半，所以全世界加起來還不到 100 GW。其中 12 GW，來自一家公司的 AI 服務。他的估計是，照這個速度，大約三年就會把 AI 能用的電用完。
供給那一邊長得完全是另一個樣子。AI 市場在他口中是往上指數成長，他給的數字是二○三○年一兆美元，也許還更大；電力供給則是線性成長。中間那個缺口就是他要處理的問題，而且他認為只能用技術解決。
資料中心的規劃順序這幾年也換過好幾次。以前是先問有沒有樓地板面積，再來是網路設備，後來變成 GPU，今天排第一的是電。你得先拿到電力合約，再想辦法把它填滿。照這樣算，服務一個 token 的成本大約一半是電，另一半是硬體資本支出、空間這些。所以邏輯變得很簡單：每一瓦都要變現；而他們的商業假設，就是同樣一瓦能變現的倍數比現有硬體好上一千倍。
松鼠的大腦只要 8 毫瓦
人腦大約 20 瓦。猴子按神經元數量等比縮小，大約 1 瓦，跟你口袋裡的手機差不多。老鼠、蝙蝠是毫瓦級。松鼠的大腦是 8 毫瓦，而牠在樹枝之間跳，一千次裡對一千次。也就是說，一支手機的耗電可以塞進一百多顆松鼠的腦。生物做出來的東西很了不起，而且它用的物理基材本來就適合智慧。
他也引了一句他很喜歡的話：你不真的懂一件事，直到你能把它做出來。放在這裡的意思很清楚：人類已經很會做有智慧的系統，只是做得很浪費。
浪費幾乎都花在搬資訊。人類皮質裡有大約 130 億到 140 億個神經元，整個皮質對外的流量只有每秒 160 億位元。一顆高階 GPU 跟外部記憶體之間，每秒搬進搬出將近 30 兆位元；晶片內部的量還要再乘 10 到 100 倍。真正把能源吃掉的就是這件事。
從 ENIAC 到今天的伺服器
電腦的歷史拉長看是機械、類比、數位。一九三○、四○年代轉成數位之後，運作方式換過一次，然後就沒再換：記憶體在外面，計算在另一邊，位元來回搬。一九四五年那台 ENIAC 是為了算火砲彈道，賣點是比人算得快；今天賣電腦的邏輯也差不多，「我比你快兩倍」還是最好賣的一句話，能源效率很少進到那句話裡面。
後面幾十年的趨勢他也講得很清楚。電晶體數量一直往上，頻率跟單執行緒的成長先後停住，到現在連效率都不再靠縮小電晶體改善。Moore 定律大致結束，所以只剩重新想一次題目。
他覺得中間那些抽象層是可以省的。數位的 0 與 1 本身就是對物理世界的一層抽象：電晶體明明有中間狀態，是工程師硬把它壓成 0 和 1。上面的每一層抽象都是有損的，而損失最後都會變成能源。大腦裡沒有線性代數，沒有浮點運算，是神經元本身的物理長出智慧。他想做的，是把半導體物理的抽象直接接到神經網路上。
節拍器、鳥群、蟻群
大自然裡到處都是計算。鳥群裡每一隻鳥做的事很簡單，往左看、往右看、跟著旁邊那隻走，整體就長出漂亮的群飛。蟻群用很簡單的規則做出很聰明的事。這套學問叫動力系統理論，講的是簡單的局部行為怎麼生出集體行為；大腦也走這條路。
他給的例子是節拍器。把好幾台放在一塊可以前後滾動的板子上，它們會自己同步；每一台推板子一點點，就算起始的相位差了一點，最後還是會走到同一個相位。加到幾百台也一樣。他說可以想像更複雜的版本，比如一半同步、另一半用相反的相位同步。重點是這是一個只靠系統本身的耦合，就會自己走到某個狀態的物理系統。
問題於是變成：這種系統能不能拿來做運算，而且要用在生成式 AI 上。他們先放出一個叫 UNO 的模型，是用一群振盪器做出來的圖像生成模型，模擬過，也開源讓大家玩。那是第一次證明這種東西可以放大、可以訓練，也可以生出有用的東西。
他們拿來看它的工具叫狀態空間軌跡：把系統的狀態想成所有振盪器當下的相位，再看它隨時間怎麼跑。如果你把它條件在某一個輸出上，比如一張飛機、一台車、一隻鳥，它會走上不同的軌跡。台上放的圖，就是這個模型自己生出來的。
把連線丟掉，表現反而更好
在一個密集網路裡，N 個元素兩兩相連就是 N 平方條線。十個元素一百條，還行；一千個元素變一百萬條，這條路很難一直往上走。
他們的做法叫稀疏性：刻意丟掉一堆連線，然後看能不能把整個系統的行為救回來。結果不只是救回來。丟掉連線之後，行為可以更好，也更好訓練。理論上有一堆理由，而他們不只在模擬裡做到，在真實的物理系統上也做到。效率、可擴展性、效能三個同時變好，這種事很少見，他把它叫作聖杯等級的問題；問題被問了很久，關鍵是要用對的方式把它框起來。
第一台實體動力系統電腦
「這是第一台被做出來的實體動力系統電腦（dynamical computer），也是我第一次公開講。」Naveen Rao 說，公司一月才認真開始，當時連團隊都沒有，只先立了一個目標：今年要把第一個實體原型做出來。六月一日，設計送去下線；現在晶片回到實驗室，結果也拿到了。台上放的圖，是這種電腦生出來的第一批圖片。
它只會生圖嗎？他說序列建模、語言模型這類任務都可以做。真正有意思的是能耗：一張圖大約 500 奈焦耳，而一般 GPU 是毫焦耳等級，差了好幾個數量級。原因就是它不搬資訊。
這裡的對照組是 von Neumann 架構。CPU 到 GPU 是一路變得更平行，但記憶體與計算還是分開的，資訊還是要來回搬。他們做的動力系統電腦把計算與記憶體放在同一個東西裡：沒有記憶體介面，每一個運算元件自己就是記憶體。他給這種做法取的名字是 4D computing：三維是物理上的堆疊與平面佈局，第四維是時間與動態。
熱力學極限，與打敗生物
效率好一千倍之後會發生什麼？他說真正要最佳化的是「每一瓦能換到多少智慧」。這個量有一個熱力學極限，誰都超不過去；哺乳類的大腦離那個極限大約還有一到兩個數量級。今天的電腦離極限是十的十次方倍，也就是一百億倍。他們的估計是三年半可以碰到 2D 微影的極限，而公司的總目標是打敗生物。
畫面他也講得很具體：從好幾 GW 的大型資料中心，變成很多散在各處的小型資料中心。他覺得這是好事，對環境比較好，也更在地、更能適應。十年左右的尺度上，他要的是到處都有算力，包括新的機器人形態，甚至幾十億台機器人動態地組起來，解決現實世界的問題。
市場那一頭他用傑文斯悖論收：當一樣東西的底層成本掉下來，用量會增加得比價格掉得更多。價格砍半，用量增加超過兩倍；價格掉到千分之一，用量增加超過一千倍。所以他說，這會是人類有史以來最大的市場。
兩年後是一整櫃機器
演講結束後主持人問的第一件事是生態系：這種東西要真的落到某個人手上，旁邊還需要晶圓廠、封裝廠一整排人，路有多長？同一個活動上，Jensen 稍早才上台講過話，這個問題在現場聽起來特別有畫面。
他的答案很直接：兩年內做到完整產品。產品是什麼？一整櫃機器，一個系統，在上面跑模型，對外就是一條網路線，token 進、token 出；裡面的東西跟現有電腦完全不同。
第二個問題是既有模型怎麼辦。主持人提到世界花了很多年在 KV cache 這類東西上，整個生態都繞著那些抽象打轉。Naveen Rao 的說法是一條滑動的尺：一樣東西比別人好多少，決定了大家願意忍受多少搬家的痛苦。他選的策略是把效率做到讓人非搬不可。搬的地方在模型層，運算層不用動，所以現有的模型可以用；但轉換本身要花掉不少算力。
主持人接著拿 MATLAB 當比喻，問有沒有類似的東西。他說可以這樣理解，但實作起來不是 MATLAB，是一連串隨時間變化的行為；每一個時間步都可以看成「現在的狀態乘上一個轉移矩陣」。
最後問到人。做這種題目的是哪些人？他說一邊是理論的人，動力系統理論已經累積一百年；另一邊是真的在做晶片的人，而這兩群人平常不講話。把他們兜在一起、讓大家協力做同一個東西，是這家公司最難的事之一。中間的橋是一組 Python 函式庫，某種程度上像 GPU 世界的 CUDA：讓人可以表達隨時間變化、帶隨機性的元素。
把整場演講收成一句：AI 接下來最硬的瓶頸是瓦數，而瓦數不太可能在 von Neumann 的架構裡被解掉。對不在晶片業的人來說，有兩個觀察可以帶走。一個是估成長的姿勢要換：模型多強之外，每一瓦能換到多少智慧更值得看，因為成本曲線往下掉的速度，會決定用量往上衝的幅度。另一個是時間點：這台機器六月才回到實驗室，一張圖 500 奈焦耳；離可以插電、接上網路線的整櫃產品，他自己給的答案是兩年。
Rao 押的是這條曲線掉得夠快。這顆六月才回到實驗室的晶片，是他到目前為止唯一拿得出來的回應。