〈Software Engineering Daily〉-EP-SED News: Jev, Meta’s Muse, and the AI Slowdown Paradox

https://softwareengineeringdaily.com/podcasts/sed-news-jev-metas-muse-and-the-ai-slowdown-paradox/

9 月 15 日左右,TypeSafe AI 把 Jev 放出來。公司 2024 年就成立了,在那之前很少人說得清楚他們在做什麼。Software Engineering Daily 每個月一集 SED News,主持人是 Gregor Vand 跟 Sean Falconer。跟以往一樣,先掃科技標題,中間挖深一題,再繞一圈 Hacker News。

錄完 Gregor 就飛舊金山。星期五是 Superbase 的大會,他在那裡有職位,這週要見的包括 Vercel 跟 OpenAI。週二下午起飛,週二晚上到,路上將近 30 個小時。主講是 Steve Wozniak,他說得捏一下自己才相信。Sean 這陣子沒有出差。再過幾週回加拿大過感恩節、看家人,自己把這趟說成朝聖,地點是他口中的大白北。人埋在 2027 年第四季的規劃裡。11 月還有年度大會,發表跟大消息都堆在那裡。

Gregor 人在新加坡。最近霾害重,林火的煙從印尼過來,賴著不走。他買了一台 Dyson 空氣清淨機。App 看得到室內空氣,人在辦公室,數字一高就打開。太太說,想放哪一間就放哪一間。Sean 在舊金山沒有。北加州野火也會搞壞空氣,他覺得這比較像他太太會買的。家裡有小嬰兒的人,常常先買一台小的放嬰兒房。Gregor 是第一次買。

Jev 交出帶分數的結構化答案

Gregor 轉述他們怎麼賣 Jev。交出來的是對過型別的回答,旁邊一個分數,表示它覺得這份結構化答案有多準。人不會拿它來聊天。它是給機器用的。他們把它放在第一層,自己叫 system one,處理結構化的決定:工具呼叫、路由、分類。科技圈把它講得很大,有人直接問,這是不是 LLM 的下一場革命。創辦團隊裡有做過 ChatGPT 的工程師,另外還有其他人。後面的份量不輕。Gregor 以為開放權重沒有多少可以挖,問 Sean 是不是這樣。

Sean 說最近有了。Hugging Face 上的 OpenJev,完整尺寸、270 億參數,開放權重,表現接近正式版。距離 Jev 發表大約兩週。那是蒸餾出來、用來模仿 Jev 體驗的模型。他不認為這是 Jev 的擁有者或創作者官方出的。

大家拿 LLM 做分類、選工具,常常不是最省的用法。你得逼它先接受結構、再吐出結構,常常不可靠,token 也不划算。Jev 仍用 Transformer,技術是通用的,但專門處理這種要結構的事。LLM 照人說話的方式設計,拿來做機器跟機器的溝通,token 跟推論時間都貴。Jev 專門做這件事,兩邊一起省。Sean 覺得人興奮,是因為中間空了一塊:一邊是早就為分類、路由做的專用模型,一邊是 LLM 的通用。Jev 卡在中間。

Gregor 把它看成一次很大的步伐。前面不知道多少個月,大家談的都是下一款前沿模型、下一款開放權重模型。寬一點講,目標差不多是同一件事。Jev 走了另一條路。

愈省電,燈愈不關

Jev 這個名字來自傑文斯悖論。東西愈有效率,人用得愈多,省下來的那一塊又被吃光。燈泡是他舉的例子。現在的燈泡很省電,結果燈不關,或者以前一盞的地方裝了 10 盞。Sean 接的是手機跟電腦。你上次把手機或電腦關掉,是什麼時候。這些東西基本上一直開著。Gregor 喜歡這個命名。他們希望過幾週能請到創辦人,錄進平常的節目。

反推也有。Sean 說,他們公布的評測到目前都是自己發的。沒有論文,沒有校準,也還沒有獨立研究。東西才剛上市,他覺得這在預期之內。比較有意思的是人已經拿去玩。遊戲裡,角色在任何一刻能做的事是固定的。馬力歐就是這樣。用模型決定下一步:跳、蹲,還是射火球。說穿了是路由。這類問題,系統解了很多年。現在多了一個很能動的系統,不必每次想用,就從頭練一個新模型。

Gregor 看過一個網站,Jev 在即時玩寶可夢。Sean 則找到一個 GitHub 專案,有人拿去做 Doom。他說這很符合那個題材該有的樣子。至少寶可夢看起來不一樣。

Sean 拿現在那些把好幾塊模型拼在一起的系統來對,比如模型路由。有人把傳統機器學習的分類模型跟一個 LLM 配在一起。也有人拿一個便宜的 LLM,硬把它逼成分類器。他說 Jev 幾乎就是這個問題的解。

Gregor 建議去試。現在有等候名單,不好進。Sean 的同事已經在玩。他看過一些數字,精確的記不得,只記得很短的時間裡,名單上的數萬人被放了進來。他自己也不確定,要脫離名單有多難。Gregor 的同事則不一致。有人還沒進去。拿到早期使用權的那位,只要帳上有信用卡,就可以邀請別人進自己的組織。Gregor 自己還沒有權限。若真的錄到創辦人那一集,他想當面要。

Muse 把餐廳訂完,Claude 常常道歉收場

另一個大產品是 Meta 的 Muse。對象不是開發者,比較像這一陣子常見的個人助理。SED News 談過這塊很多次。Gregor 覺得這次不一樣,Muse 看起來真的把問題解決得又快又好。它是一個 App,Mac 跟其他裝置都能下載。硬體也要出,叫 Muse Charm。鑰匙圈大小,上面一小塊螢幕,他形容像電子雞。你也可以直接跟那個裝置說話。

他懷疑造型在蹭 Labubu。亞洲很流行把這種小掛飾掛在包包上,紅到誇張,兩邊長得很像。Sean 的小孩就有。就算只用 App,也可以幫自己的 muse 取個名字。Gregor 提醒,muse 這個詞本來就是名詞。

他人在新加坡,Muse 還在等候名單上,進不去。他指望 30 個小時後人到美國,想辦法裝到裝置上。自己還沒用到。讀到、聽到的講法有兩種,他沒有收成一句。一種是訂餐廳比 Claude 快 10 倍。一種是 Muse 會把訂位做完,Claude 則常常走到相當後面,然後說抱歉,不知道為什麼,餐廳沒訂成。

Sean 認為 AI 助理這塊市場以後會很大。前面讓人醒過來的是 Open Claude。大家發現,願意讓 AI 代自己動手的程度比原先想的高,這條路也被打開。他理解 Meta 要投,擔心在別處。Meta 跟 Facebook 綁得太緊,拿人的資料做廣告是有歷史的。現在你交一台機器給它,替你打理生活的一部分,個人資訊會不會又接上廣告。據說整套 Muse 跑在安全的虛擬機裡,要在你的 Muse 跟其他系統之間畫一條界線。看 Meta 過去的做法,消費者不信任,他覺得說得通。

資料大概早就在 Meta 手上

Gregor 講到一半,回去看上個月談過的 Instinct。那家公司做的也是個人助理。Muse 已經站上同一個位子。上個月那個網站看起來像 1992 年,用 Times New Roman,故意走回到未來的味道。現在換了。字體改成無襯線,多了一個小人當標誌。頁面底部寫著「text instinct」,用來開始。他沒有去翻 Wayback Machine,不確定這句以前在不在。以前的感覺是,你不夠特別就進不去。他懷疑個人助理這塊突然擠在一起,對方才改的。

這個產品要有價值,你得把檔案交出去,尤其是資料。日曆常常走某個雲端服務。他覺得矛盾在這裡。很多人的資料,Meta 大概早就有了。要嘛整套退出,要嘛索性靠進去。Facebook 待過,Instagram 也有。WhatsApp 能拉出什麼,他說不準,但他猜 WhatsApp 多少接得進這套東西。過去幾個月,他跟 Sean 一直點不出 Meta 到底要往哪裡走。這一手,他覺得聰明。

Sean 覺得這跟 Meta 真正成功過的地方對得上。這是做給一般消費者的 AI。寫程式用的 agent harness,也就是把 agent 套進寫程式流程的那套工具,這次他們沒有押這條。自己去練模型,也沒有。Facebook、Instagram 那些賭注,走的是消費者。個人助理有機會變成 ChatGPT 之後,AI 在消費者端真正打穿的應用。

Gregor 問他會不會用。Sean 說不會。硬體沒興趣,Meta 的眼鏡也一樣。他不想讓人看見自己用一種可能被看成在監控旁人的東西。自己不舒服,也不想讓別人因為他而不舒服。個人助理這個想法很好。他不確定會把信任放在這一個上面,銀行資料也還沒準備交。

訂飯店這類事,Sean 說顯然得有付款的辦法,裡面一定有信用卡交易。Gregor 知道 Stripe 在機器付款上做很久了,現在才開始得到他們想要的注意。Stripe 有一套機器對機器的付款協定,叫 MPP。大家一直用不起來,是因為你得先有一台你信任的機器,願意讓它去付。Muse 也許是人會更常打開的那層介面。他還不知道自己每天會用多少。當新鮮事,他一定想試,比如在舊金山訂一間餐廳。下個月若拿到使用權,再回來講有沒有任何一點真的有用。

第三次的 Nscale:礦工、挖礦、挪威的機房

標題裡還有一則,他們連續第三次談 Nscale。名字叫 Nscale,跟 any scale、跟 Scale AI 都不同。這是一家做推論資料中心的公司。機房所在的地方跟別人不一樣。Gregor 舉挪威一處,看起來很像風景明信片。他們即將上市,S-1 已經送出。創辦人 Josh Payne 是澳洲人,在澳洲礦坑裡下過礦。Sean 記得,公司最早是挖加密貨幣,後來轉去做推論,替大公司跑 LLM。

《金融時報》報過,2025 年的營收有 73% 來自 ByteDance,也就是 TikTok 的持有公司。S-1 裡完全不出現 ByteDance 這個名字。Gregor 覺得這像套利。有些公司進不了放在美國的推論資料中心。眼下有貿易禁令的那些流量,Nscale 就接過來。

Sean 在意的是,營收有相當一部分來自少數客戶。以後交 S-1 的 AI 公司,他猜這種結構會愈來愈常見。你只要接上 OpenAI 或 Anthropic 這種客戶,用量大到會把整家公司的使用跟營收比例扭歪。客戶能活多久,就變成生意上的風險。Nscale 這條路,他倒覺得清楚:礦工,加密貨幣礦工,然後 neocloud。Neocloud 是他們用的詞,指專門跑 AI 推論的那種雲。

Gregor 覺得 Josh Payne 很會做生意。英國想把這家公司認成自己人。它確實是英國公司,創辦人是澳洲人。他們要到美國、到紐約證交所上市。在英國起家的科技公司,後來常常不在英國掛牌,因為流動性跟比較好的估值都在美國。他說這大致是真的,也不知道什麼能打斷這個循環。又多一家,他覺得可惜。若真的在英國上市,這位執行長的薪水幾乎會擠進最高那一檔,差不多跟 AstraZeneca 的執行長一樣。他覺得估值跟薪酬有點失控。整件事像一記很看時機的賭注,把挖加密貨幣的公司轉去追這個。他想看賭注往哪裡走,也想看會不會吸到一種人:喜歡 neocloud 這個詞,就覺得錢該放進去。

Sean 說 neocloud 是過去一年熱起來的詞。Nscale 是他想得起來、第一家把 S-1 交出去的。Gregor 把它說成礦坑裡的金絲雀,先送下去試空氣有沒有毒的那隻。第一家交表,也許就是拿來看這條路。他問,會不會有一波崩盤要來,所以想趁別的問題出現之前,先把這一檔做完。

9 月 12 日說放慢,十天後兩家同一天出模型

中間那題,他們給的副標是 AI 風險、前沿實驗室放慢,以及陰謀論。過去幾個月的事,在一些人腦子裡對不起來。這些實驗室講應該放慢、應該更小心,同一時間又在出新模型,而且把這些模型說成做過最聰明、也最危險的東西。Gregor 問,這算不算一種悖論。

Sean 把線往回拉。Mythos 那陣子他們談過。Anthropic 當時的說法是,這模型強到不能給所有人,所以只給少數人。幾個月前他們就講過,這裡面有行銷。稀缺本身是一門手藝。你把一個東西說得極好,然後說你還不能擁有。等它真的開放,所有人都想要。

再往前是 7 月的 Hugging Face 入侵。大約 700 個 OpenAI 的 agent,在跑某種內部的網路安全評測,駭客那道限制是關掉的,結果打進 Hugging Face 的正式環境。這件事他們談過。7 月也有員工出來吹哨,說這些模型危險,會威脅人的性命。同一個月,前沿實驗室有一批員工催政府,要刻意把自動化 AI 的開發速度放慢。

大的那一下在 9 月 12 日。Anthropic 的執行長、也是創辦人之一的 Dario,發表文章,叫人去放慢前沿的步伐。篇名的意思就是 pace the frontier。Sean 建議大家去讀。同一天,Sam Altman、Elon Musk,還有 Google 的 Demis,都在 X 上公開說同意 Dario,該放慢。陰謀論立刻出現。十天之後,Anthropic 推出 Opus 5.5,OpenAI 推出 GPT-6,基本上同一天。一邊說慢一點,一邊把模型出得非常快。給外面的訊號很怪。

Sean 還是留一句給 Dario。這個人警告 AI 的風險,講了很久。

人懷疑這份誠意,Sean 整理出兩條。若這個領域最前面的幾家一起說該放慢、該加監管,某種程度上是在守住自己的位置。小公司、新進者更難追。他們已經領先,錢很多,也有人懂得怎麼走過監管要模型提供者做的那些事。另一條跟上市和利潤有關。中國出來的開放權重模型,正在壓低大家願意為 token 付的價錢。前沿實驗室看得到牆上的字,公司估值會被往下打。這套說法可以解釋為什麼有些事他們不做,也可以把上市的時點往後挪。以後若有人問,最新、最強的模型為什麼還沒出,答案可以是我們得遵守規定,或者還不確定安不安全。效能這件事怎麼講,就握在自己手上。

另一邊是美國總統川普,還有 Nvidia 的 Jensen Huang。川普說這整件事是一場騙局。Jensen Huang 說不該放慢 AI,那不切實際,這些威脅不是真的。Nvidia 有很強的動機講這些話。AI 走得愈快,要買的 GPU 愈多。那些 GPU 很可能就是向 Nvidia 買。

文章寫 pace,新聞聽成暫停

很多人,包括一些新聞,把它聽成一聲暫停。Gregor 覺得那個詞不在文章裡。文章用的詞是 pace。Pace 是把開發速度講清楚,不是叫大家停產。模型該開發多快,得說明白。大家若完全放開,不知道會發生什麼。暫停是先別再出新模型,直到安全限制收得更緊。他知道這有點在挑字眼。兩個詞差很多。Pace 從生意的角度看,聽起來幾乎像串通。

串通就是卡特爾在做的事。幾家公司在檯面下約好一起放水。放水指的是,你知道自己還能做更多,可以把價格拉高,可以做出更強的東西,集體的利益卻是先不要。大家想把效能、尤其是財務表現,一點一點擠出來。Gregor 把帳想成大概三年。若明天就跳到我們知道最終做得到的那個最好的模型,未來兩年還能拿什麼階梯跟人家收費。有人因此說,這是貼了安全標籤的卡特爾。他說有些時候很難裝作沒看見。

上市都排在眼前。他先說了一句「這些上市」,又自己改口。他講的是 OpenAI 跟 Anthropic,兩家都很可能想上市。他們一直說自己在準備。他猜未來六個月裡,會有一家真的走出去。兩家走在同一條路上,在這件事上有同樣的動機去串通,再把財務表現擠久一點。目前他站在這裡。

3% 到 10%,他母親也問了

Sean 把風險問回來。有人講駭客。實驗室裡或吹哨的人那邊,他聽過另一個數字:到 2030 年,人類滅絕的機率從 3% 到 10%。Gregor 說他母親問了同一個問題。Sean 說他太太也在問。

幾個週末前,Gregor 跟父母說話。他們很少問工作,也很少問 AI。那次問了。他們看到那些末日標題,甚至講出 Anthropic,說是 Anthropic 的某個人。他傾向覺得這件事被放大了,可是說不出為什麼。一個人把這些話講完,然後離開公司,動機在哪。末日情境當然可能。他想看這些說法在哪裡真的碰到地面。Hugging Face 那次入侵讓人睜眼,因為它拖了一段時間。他不明白為什麼不能加限制:模型繼續開發,但不必放它們出去做這種駭客的事。他自己不在前沿實驗室,想這些的時候仍然覺得自己是外行。

Sean 把技術史攤開。技術都有亮的一面跟暗的一面。新東西可以拿來做很大的好事,也會被濫用,有時是意外,有時是故意。1890 年代的電,引起大量火災。政府反應太慢,結果是保險公司自己出錢,做民間的測試。藥做得到很了不起的事,也做得到很糟的事。醫療用藥的設計有制衡,慢是故意的。印刷機把識字帶給很多人,也被拿去大量印宣傳。社群媒體有好東西出來,同時也是一台被人濫用的宣傳機器。

他覺得 AI 像這一串,難處是走得太快。濫用可能先蓋過去,真正會改變事情的用途還沒被認出來。他說的真正改變,是用模型去解人類還沒解掉的疾病,或者打進以前複雜到人處理不了的問題。那大概還有一段距離。危險是趕去那裡的時候先傷了自己。陰謀論跟 Anthropic 及其他人的意圖,真相大概在中間。一邊是他們完全出於善意,只為了所有人好。另一邊是四五家公司湊在一起,要騙過全世界、操縱公開市場。兩邊他都覺得太過。

Gregor 補的是加密。加密曾經被歸成軍火,後來才被看成一股向善的技術。它也能做壞事,比如把本來會讓一個該坐牢的人定罪的資訊藏起來。大家仍傾向認為,把世上大部分敏感資訊加密,整體是好事。破解它幾乎愈來愈容易,量子那頭除外。

他覺得印刷機更靠近眼下,因為玩的是恐懼。當時有人要讓不識字的人繼續待在下面。印刷機會讓更多人碰到紙上的字,學會讀,讀到不想讓他們知道的東西。他站在實驗室外面看。裡面的人也許覺得,外面的普通人碰這東西會很糟。他不同意。這些公司成立並不久,不必然就能決定技術往哪走。能做出模型的,現在有好幾百家。技術已經在外面了。

他們想照 FINRA,自己盯自己

Google、OpenAI、Anthropic 想成立一個東西,名字叫 Standards Authority for Frontier AI,做法明寫著照 FINRA。FINRA 盯的是華爾街的券商,代表產業自己,身分不是政府機關。Gregor 問這算不算走對一步。

Sean 覺得,至少他們想在話的後面放上東西。Dario 的文章把放慢 AI 的做法寫成三條。把某種第三方嵌進前沿實驗室,模型推出之前,由他們評估有多安全。政府層級的監管。還有理想中的全球管控,比照核武的發展怎麼被管。寫下來是一回事。讓它發生、讓所有人配合,非常難。美國總統的反應已經在光譜的另一端。就算美國決定這裡的實驗室要放慢,美國以外的實驗室不一定跟著。那本身可能變成技術跟用法上的威脅。美國人接不接受,也是問題。

他記得去年聽過 Dario 的訪談。Dario 當時說,他們負擔不起放慢,也負擔不起去控速度。對中國和世界其他地方有領先,領先沒有大到那種程度。若真的領先好幾年,也許可以放慢,把事情做得更安全。因為有外部威脅,速度就不能放。現在情況有些變了。也許他們已經拉開足夠的距離,也許威脅變得夠大,也夠真。實驗室自己公布的那些,不管是入侵,還是有人宣布出了問題,到目前都是自己說的。航空業若出事,今天有第三方進去查到底發生了什麼。這類制衡,這裡還沒有。他覺得這至少是個開始,而那件事大概得做。其他產業的做法他不夠熟,不敢說這是不是對的做法。可是幾乎任何公眾安全可能出問題的地方,造車、開飛機、設計藥物,動手之前都有好幾道制衡。他不能自己造一台車就拿去賣,會有人來找他。

Gregor 同意這個對照。很多領域裡,你就是可以寫一套軟體拿去賣。除非明顯跨過法律界線,沒有人問這套軟體若做了某件事會怎樣。就算造成損害,也走民事賠償。加密貨幣起來的時候不一樣。金融監管不得不進來,因為這會從財務上傷害一般人,比如你被誤導,不知道自己在做什麼。現在的問題是,開發一個模型要不要再加監管,因為模型能被用的方式太多。車跟飛機有意思。你可以設計,可以建造,不能賣給任何人。Sean 補了一句,他也不能突然開始賣商業航班。

Gregor 覺得可以停在這裡。過去幾週、幾個月,前沿實驗室把自己放在什麼位置,這些事為什麼會發生,談這些已經夠。

Sean 還是把立場講清楚。他站在盒子已經打開的那邊。他用的是潘朵拉的盒子,意思是放出去的東西收不回來。創新會來,他把它說成一波潮。你可以游回岸上躲開,去找高地,也可以抓一塊衝浪板。他選衝浪板。技術亮的那一面,往上的空間大到不能裝沒看見。同時得找到辦法,不讓暗的那一面把可以期待的那一面蓋過去。

講到往上的那一面,Gregor 把時間交給 Hacker News。這一段通常是他們這集最喜歡的。

海盜片要救回原版,本地還有一台假的 AWS

Sean 先講一篇,標題他很喜歡,叫「Pirating the Pirates」。投稿的人他記得是 Pieter Grabowski,拼法他自己沒有把握。電影保存裡面藏著一個盜版問題。片廠發行一部片,然後又去改它。經典例子是《星際大戰》。George Lucas 不斷重新剪已經存在的畫面,原始畫面很難再找到。另一個是 MGM 把 18 分鐘放回《黃昏三鏢客》,配上重新配的對白,用一個聲音很像的人,換掉已經過世的演員。喜歡原版的人很受不了。

於是有一批小型修復。業餘的人跟有點專業的人混在一起。他們拿 DVD、雷射影碟、VHS,再加上各地的國際版本,試著反向做回一個正確的原版。Sean 說這是愛做的事。文章寫的是某人親身做這件事,在《黃昏三鏢客》上做了好幾年。

Gregor 快速看過。截圖很多。同一部片等於四個版本,依媒介、發行時間、誰在背後發行而不同。顏色完全散掉,四套顏色幾乎各走各的。飛機上時間很多,這篇會在清單上。

他自己挑的比較技術。名字先抓住他:Fake Cloud,網址寫的是 Fake Cloud.dev。投稿的使用者叫 the Anonymous One。後面是誰,相當匿名,所以他用「他們」來稱。Fake Cloud 想做的是一套 AWS 的測試環境。他們說,它給你一個本地的 AWS 環境,行為要像真的基礎設施。測試用的假物件,他們說不算。程式可以用平常的 AWS SDK、命令列,以及拿程式碼描述基礎設施的那些工具。跟現在的 LocalStack 社群版不一樣。你不必有帳號、驗證用的 token,或付費方案,就能把核心的開發流程留在自己機器上。

對著 AWS 開發常常很貴。AWS 基本上沒有免費測試環境這件事。他們以前是直接打對方的 API 來測。留言在意兩件事。背後是誰。以及它看起來就像 vibe coding 生出來的。Gregor 說他滿喜歡這句,但不確定外觀能不能當不信任的理由。現在太多東西都是這樣做出來的。介面也常常不是某些開發者的強項。留言另外推薦 MiniStack.org。他建議兩邊都看。

時間到了。預測留到下次。Gregor 期待這週再跟 Sean 當面見到。大會結束之後,下一集 SED News 會有不少東西要消化。Sean 說這週晚一點見。

〈東京單向咖啡館〉-EP-郭宇:AI现在可以20 分钟做一件衣服,70 毫秒做一个决定|语言模型和世界模型之争以及Jev

銀座單向街書店這場,郭宇把題目換成語言模型對世界模型。題目他自己改過好幾次。分享停了兩個月,這一個月他認為有兩件事非講不可。一件是 GPT-6:Computer Use 強到可以操作電腦裡的專業軟體,Marvelous Designer 和 Blender 都能開,建模他說已經和人類工程師、設計師沒有區別。另一件是李飛飛實驗室的世界模型,兩三張照片就能還原一個虛擬世界,但你只能看、只能換角度。

他把例子放在一張逝去親人的照片上。背面、人在環境裡的位置,照片沒拍到,你卻想摸到、想換角度看。一兩張照片交給李飛飛公司的世界模型,還原成 3D 場景,可那是點陣圖。不能互動,不能像真人走來走去。

Figure 是這幾天的具身例子。這家美國公司在舊金山租了三十間 Airbnb,不同房間做不同的事:整理房間、洗衣服、叠衣服、整理床單。世界模型要加快的,是現實裡會發生、又被錄下來的那些事。先在模擬裡做一遍,再把影片丟給機器人學。疊床單得知道重量、材質、厚度,布拉開之後力怎麼走,不然疊不平整。

從 2022 年 12 月那一代 ChatGPT 算到現在的世界模型,路線不同,目標像同一件:把看得到的物理世界搬進電腦。名字叫 Real to Sim,真實的東西進模擬器。做這件事是為了機器人,為了各種人工智慧能用更多層次認識世界。Facebook 的 Zuckerberg 要做元宇宙,郭宇說那不是理由。

語言模型缺的是因果關係。ChatGPT 或 Claude Code 可以做知識工作,按機率吐出你想說的話,或別人願意聽的話。真實世界裡,你做的事會影響別人,你的因會變成別人的果,也會回到你身上。時間是線性的,後來的事受先前的事影響。模型的神經網路裡沒有這一層。它要懂因果,得靠工具去查 Google、搜尋引擎、Wikipedia。訓練好的本體裡,因果不在。世界模型要的就是因果、物理、重力,先把人類世界仿真進虛擬世界。

ChatGPT 一開始只是在吐文字,英文、日文、中文。後來大家拿它寫程式,程式改網站、改 app,再改到工業製造,改到摸得到的東西。今年一月郭宇講這題,是因為去年十月 Claude Code 推出 Scale,程式可以即時生出來,解決一次性的任務。他說手是從那時伸出去的。這個九月的 GPT-6,把手伸進專業 3D 軟體,伸到做衣服。

二十分鐘,小狗的萬聖節衣服交到打版

這兩天他做了好幾件,其中一件是朋友的小狗,萬聖節主題。ChatGPT 先把衣服做成三個視圖,視圖進 Tripo,輸出大約兩百萬個三角形的模型。模型再進 Blender,綁上骨骼,那個小鬼就動起來。衣服的圖自動進 Marvelous Designer,切片,布可以選針織,也可以選硬的,然後打版。衣服是 3D 的,布卻從平面裁。裁完會標哪裡用什麼工法、怎麼縫,檔案可以交工廠。二十分鐘做完。他在台上說,這很可怕。

二十分鐘的過程,他還看得到每一步。他說回家若改用 Computer Use JEV,就未必看得了。Computer Use 是一套開源庫,接上 JEV 做操作時的快速分類。用它取代 ChatGPT 內建的電腦操作,速度可能快到他根本看不到。到那時他覺得自己連觀察的資格都沒有,只能放手。

OS World 高了十個百分點,衣服對不對得用眼睛看

桌面任務有一份考卷,OS World,全名 Operating System World 2.0。GPT-6 Ultra 比上一版 GPT-5.6 高了十個百分點。他說每一代都在漲,十個百分點已經很顯著,代表它開始碰瀏覽器和主流軟體以外的程式。

操作有兩條路。一條是看螢幕,每一步截圖。網上有人寫,用 GPT-6 開專業設計軟體,Blender 裝好第一件事是把語言改成英文。中文介面辨認要花更多 token,更慢。那則貼文建議專業軟體全部設成英文。你看不懂沒關係,它看得懂。另一條是 MCP,Anthropic 做的協議,模型直接跟軟體後台的程式溝通,只知道邏輯對不對。三角形的數量可以對,人眼看衣服就是不對。網頁可以說把右上角改成綠色。衣服破個洞、形狀怪、蹲下去偏大或偏小,很難講清楚。

所以他要大家更新 ChatGPT,裝好 Blender,跟它講:幫我操作,不要走 MCP。Token 多花可以,用 Computer Use,用視覺看。效果好很多,速度會慢。他覺得 MCP 走到生命週期後面了。它和後面的 Scale,是想用傳統程式讓模型知道軟體內部的狀態。資料庫這類抽象的東西有用。操作電腦時,不能指望訓練階段把世界上每個軟體都用過。他偏向下一代,也許 6.5 那種 Ultra,用 JEV 這種更快的方式處理畫面。下一版的電腦使用,他相信主要靠視覺。

他說這已經很難分清模型和真人,因為用法一樣,很像 Tesla 訓練自動駕駛。Tesla 很長一段時間不用光達。不是買不起,成本也是原因,更主要是想一勞永逸:人學開車用眼睛、用小腦,他們就用視覺模仿人。Cybercab 已在 Austin 鋪開,兩個座位,沒有方向盤,沒有螢幕,沒有可以干預的東西,坐上去到下來都是電腦在開。他最近很少用 Claude,覺得它控制桌面軟體已經遠遠落後 OpenAI。下一代的電腦使用,他相信會領先一個很大的身位,方式像 Tesla 訓練車。模型改用看螢幕來操作之後,三維資產才變得改得動。

可編輯,是相對前一場講的流程。文字生圖,圖交給 Seedance 2.0 生影片,不對就要重做,又煩又花錢。出來的是影片,他說一幀裡可能有二十四張或六十張圖,畫格裡的人改不了。衣服顏色、表情,或只是覺得哪裡不對,都得再生。每參考一次就更失真,這是 Diffusion 模型的特性,十幾二十次之後會很嚴重,而且每次都重算機率。腿往前邁一步,話講不夠準,結果就不準。效果好的片子常常附上幾百字甚至上千字的提示詞。他不覺得提示詞工程會是以後的用法。

GPT 現在能生真實的 3D 模型。走哪一步、往哪轉、換什麼衣服,不必再另外花錢,而且可以馬上改。跟 GPT-6 說顏色不對就行。投影片上的 UV 展開,就是把二維貼圖貼回模型。要加衣服、做一頂針織帽,可以先用圖像生成做出展開後的平面圖,切圖很快,再變成 3D 網格,用網格和平面的對應去改。帽子換色是換貼圖,不是整段影片重算。

Mesh 和 Tripo 是這條路的第二個角色,專門把幾張圖算成網格。他拿圓打比方,也提到微積分:圓在螢幕上是很多三角形,不是真正的圓。加到兩千萬、三千萬個面,肉眼分不出來,像砂紙磨過的圓,微觀仍是尖的。Tripo 收一張到三張參考圖,還原 3D,目前最高大約兩百萬個三角形,貼圖到 4K 或 8K。它最早是做 3D 列印玩具的。小孩五歲、七歲、十二歲各留一個,拍一張照片,大約一分鐘出模型,丟進 Bambu Lab 印出塑膠人偶。現在同一份資產可以進 Blender,讓 ChatGPT 精修、綁骨,讓小孩動;把家做成虛擬空間,人在裡面走;接上語音 API 就能即時講話。日本有人拿這套做 VTuber,人物放到網頁上聊天、走路、蹦跳、唱歌,他說一兩個小時可能做完。

現場的 GPT 補的是:做好的東西可以留著改。同一個角色,今天換萬聖節衣服,明天換動作,之後加對話,每次從已有的成果出發。它問郭宇,小狗那件衣服哪一步必須他自己看。郭宇說是打版對不對。他自己沒做過衣服,朋友在文化服裝學院讀了好幾年,得有設計師在旁邊看。GPT 的說法是,流程和版型系統串得起來,合不合身、布料表現對不對,還是人把關。

郭宇接著問,為什麼不能一步到位。語言模型的觸角已經伸進製造業,模型應該也有做衣服的經驗。現場的 GPT 沒有馬上答。材料在東京的伺服器,簡報和這一兩個禮拜的 3D 操作紀錄都在上面,他當時不在那台電腦、也不在手機上用。這次沒接 JEV,它不能先分類,得讀完才答。他拿在場的靜涵比:同樣做了一週,人會很快知道該說什麼。後來 GPT 補上:可以追求一步到位,經驗豐富也不保證每次做對。通用模型也許懂製衣,未必知道這隻狗的尺寸、這塊布的實際表現,還可能誤判自己生成的版。設計師也要試樣、改版。把測量、模擬、實做的回饋接進去,自動化才穩。今天要人看,不代表永遠過不去。延遲的原因,它說現在不能確認。郭宇真正想問的是另一層:工廠的布,在電腦裡是不是還沒有完整到可以仿真。若物理世界的事在虛擬世界都有資料,Marvelous Designer 裡應該就能把製造做出來。他開著 Extra High,還是慢。

這套軟體他仍建議下載。自動化紡織廠機器裡的模擬不是用它,它比較像虛擬角色的衣服,或學生作業:快到仿真,又還沒把檔完全丟給量產線。人台可以讓 GPT 生。他把女朋友的照片做成一個人台,貼文在 Twitter。身高和比例放進去,就是在虛擬裡量體裁衣。布料有預設的克重和下垂。他不敢說百分之九十九像真的,百分之九十以上他覺得可以。明顯不對的地方,白布試做或交給中國工廠之前就看得到。他說這軟體很便宜,沒多少錢,買一個授權,讓 GPT 接上去自動操作就行。他也要大家用新版的 ChatGPT Extra 自己試。

一位日本設計師的示範,是把人導回 Blender 綁骨,看站著、動著時衣服變不變樣。褲子特別需要這一步。專業裁縫即使用等身人偶,西裝褲仍會留冗餘:坐下去面料要伸。沒有這個經驗,就讓模特蹲,或讓 GPT 轉一圈錄下來看變形。最後還是得穿上身,觸感不會出現在螢幕裡。

他把衣服看成大用例,是因為 2011 年在支付寶做過微群,把中國的買家分成很多群,GMV 最大頭永遠是女裝。全球製造裡,除了吃的就是穿的,穿裡面最大是女裝。AI 若把個人化製衣串起來,他相信兩三年內看得到,不必再找裁縫,設計師按需求做。工業革命以來沒有這種事。個人化若吃掉大量製造哪怕百分之十,通關、物流、貿易都會被改寫。中國若不跟著改,以後製造未必還要靠中國。他也說,現在的成衣畫面仍有不自然的地方。

點陣看得到,重力還沒模擬完

幾張圖組一個空間,他說有點像魔法,而且他並不清楚 World Labs 怎麼做,開源這邊也沒有足夠資料。目前最厲害的是從靜態圖還原空間深度和裡面的物體。兩張投籃照片,可以換角度看那個人。幾張 GPT-4o 生成的城堡,可以還原整座城堡。現場的 GPT 提醒,沒拍到的部分是推測,不一定準;宣傳片第六頁底部有官方連結,Atlas 的演示可以直接開。它也把製衣那個問題留著:現實資訊若都準確進了虛擬世界,Marvelous Designer 裡算不算仿真製造。

還原已經很清楚,比一月或二月那個很粗的預覽細得多,手機上不太分得出差別,廣角也不像早期那樣邊緣明顯歪,他說接近 iPhone 一倍鏡頭。點陣仍不能互動。拿來做一間虛擬房子的展示,買賣房屋用得上。更大的用途是把虛擬世界的影片餵給機器人,這才是世界模型的原意。他說也許一秒、也許一分鐘,就能生出很多影片。創辦人是李飛飛。

投影片上 ChatGPT 在解釋:生成的世界有碰撞網格。攝影機走過去,物體穿不過去,不會穿模,哪裡能過、哪裡不能過,算有一點物理。重力還沒有。若下一版 Atlas 的籃球能改方向、改力度、把框放遠、投進並且落下,他覺得重力才算幾乎到百分之百,也可以改重力去模擬月球。美國要在月球建永久基地,上去做事的是機器人,物理沒先模擬,就無從訓練。不同星球、不同家裡的任務,都卡在這裡。他說現在是 2026 年 9 月,仍非常早,明年再兩三個重要版本,差別會很大。ChatGPT 出來的 2023、2024 並沒有太多讓人停下來的東西,大家還在學一來一回地聊天。真正加速是去年十月、十一月之後。一月開講時,他自己也沒料到會這麼快。

交會點就在可再用的 3D。GPT-6 操作電腦,做出的數位資產可以進遊戲,也可以進影視的 CG。世界模型用兩三張、四五張照片,生成虛擬點陣。一件是可編輯的資產,一件是可觀看的空間,這個月在做出 3D 這件事上碰到一起。

七十毫秒選一個,分類不必先訓練

JEV 是三四天前出來的。郭宇說它這兩天在刷屏,號稱分類比 ChatGPT、Claude 快大約三百倍,不是同一個數量級。它不能聊天,也不能寫字,只做選擇。幾十萬、上百萬個選項丟進去,用自然語言講要哪種特徵,毫秒級挑出來。圖裡找體重超過六十公斤的中年男性,或從閉路電視挑一個有特徵的人,都是這種工作。老的分類器得先有專業資料集,再按需求微調。JEV 不必預設是貓還是狗。Diogo,前 OpenAI 研究員,郭宇不確定名字怎麼唸,離開後把這東西叫做因果模型。郭宇自己的歸類是:大語言模型裡的快速通用分類器。

延遲可以落在六十到三百毫秒,接近說話的速度。浴室長黑斑,問 ChatGPT 去 Amazon 挑日用品會等很久。資料先餵給 JEV,說話的過程裡,幾百毫秒就在螢幕上出現可能用得上的商品。七十毫秒的話,他拿來比一般網頁的 HTTP 請求,覺得是同一個數量級。價格幾乎可以忽略,輸出免費。GPT 輸出貴,是因為回覆要校驗。JEV 只回答選哪一個,他說輸入費用是零。準確率和上一世代 GPT-5.6 差不多;跟 OpenAI 最頂尖的模型比仍有差距。和其他工具一起用,速度快兩個數量級,準確率接近,幾乎不花錢。

選項本身仍要別的模型來做。網站跟著使用者的文字或語音變,那幾萬、幾百萬個選項怎麼設計,他說還是 GPT-6 或 Fiber 的事。濾使用者輸入這一層,JEV 才是他講的壓倒性優勢。它看得懂電腦畫面裡哪一塊是什麼軟體,拿來操作 Google Flights 搜機票,會比 GPT-6 Ultra 快很多。人還得先分辨單程或來回,一座城市又常常有好幾個機場。原帖影片右邊是時間,左邊是操作畫面。

他預期大約一個月,GLM、MiniMax、DeepSeek 都會有很快的電腦操作。DeepSeek 的 Harness,他提到那套命令列工具 DSH,會接上類似的分類,或自己做一套。以前這件事幾乎是 OpenAI 的:訓練 GPT-6 時買了很多 Mac 放進資料中心,讓模型把 Mac 上的專業軟體用過。DeepSeek 現在看不懂圖,得另配一個看圖的模型,再加 JEV,效果接近,成本他說可能是 OpenAI 的一千分之一。

旁邊的用法更日常。郵件批量分類,五百封大概三分美元,朋友有人在做幾十萬封。積著的幾千封,兩三秒讀完,把重要的、待辦的、跟旅行有關的抽出來。下載資料夾也行。他說自己有點精神潔癖,資料夾整理得很好,下載區仍會亂。有人用 JEV 聽新檔,一出現就分類、命名、放到磁碟上對的位置,並放進模型的記憶。下次用語音問 GPT,就不必靠 Finder 的 Spotlight。Spotlight 是蘋果的聚焦搜尋,索引用的還是老方法,沒有 AI,新的 Mac 要花很長時間建索引。公司檔案、倉儲、服裝店、物流中心,他覺得都能用。

遊戲他沒看完。模擬器把狀態讀成 JSON,JEV 決定 Mario 跳不跳。慢了就被怪撞到,所以吃的是反應時間。早年把 AI 放進遊戲角色沒有流行,貴,也慢。他覺得現在可以拿星際爭霸這類試,或在自己的遊戲裡放角色、調強弱,DeepSeek 配 JEV 是一條路。簡報沒寫的還有 MiniMax H3,權重開源,FAL 做成 H3 Max,大約七點幾秒生出十五秒影片,有人拿去做無限電視台。Sora 也出了 2.5,他打算下一場再講影片模型。

量化是現場冒出來的聯想。這類基金十幾二十年前就有,文藝復興那一掛靠數學家、算力,和離交易所很近的機房,新聞出來就下單。散戶資訊、算力和倉位都不夠。有人昨天用 JEV 試,賠了很多。他說賠錢不一定是模型,可能是策略,而且得先找還沒被量化交易的人佔走的地方。去年的 Polymarket 也許還有空隙,預測市場新,華爾街不輕易進,資金池也小。Hyperliquid 同樣可以先讓 ChatGPT 或 Claude Code 把策略寫好,再交 JEV 分類,看一個交易日內有沒有獲利。卡牌拍賣、Mercari 二手,比的是誰先搶到。不必先寫程式。日本的抽選他也提了,說這例子有點不道德:第一時間進網填表很煩,他以前乾脆買黃牛票。Computer Use 變快之後,講一句話就能做,跟一月那種臨時寫程式不是同一條路。

四十億、八十億參數的小模型,Facebook 早做過,用來擋髒話、擋成人圖片、分貓狗、做驗證碼。JEV 多出來的是不必先訓練,用人類語言做通用分類。OpenRouter 已經開放,不用內測,也可以走 Cloudflare。讓 GPT 去 OpenRouter 註冊就能用。

複利在故事,不在高級上班族

他希望聽完的人回家真的打開 agent、ChatGPT、Claude Code,不要只在現場提問。

江西農村長大,第一次大變化是父親把他帶到深圳。數學界最近有兩個人拿了那個相當於諾貝爾的獎,名字他在台上說成王虹淼。他確定的是其中一位比他大一屆,深圳高級中學的,他讀高一時對方讀高二。那些孩子很多父母是第一代創業者,錢已經夠了,想的是這一生做什麼難的事。他自己在生物 X 班,有同學到現在還在美國的癌症研究機構,職涯沒有改。第二次變化是上網從電腦換成手機,大約從 2008、2009 到 2012。他覺得第三次就是現在,而且更快。

東亞父母要小孩讀書、離開體力勞動,至少換到經濟獨立。仕途、後來的經商,都是把智力變成收入。人工智慧上來之後,你調得動的智力和你自己讀來的不成比例。九年、十年學到皮毛,不可能不睡覺把 ChatGPT 的預訓練讀完。它還邊做邊學。他認為好好讀書、好大學、好工作這條,已經是妄想。2023、2024 之後,尤其去年寫程式這件事被攻下來之後,醫生、律師、其他知識工作、高級上班族,靠智力拿超額收益這件事,他看成泡影。

他給自己的下一項是用智慧賺複利,例子是 J. K. Rowling。《哈利波特》的小演員加上後來的片子,賺的遠不如作者。語言會留下複利:演講、書、talk show,因為它影響別人,也製造故事。西方叫 narrative。別人聽到名字就想到那串故事,有時跟著走。決定怎麼講,他說 AI 現在不會。Sora 和其他模型可以生出無窮影片,卻不知道哪一種講法對人是合理的。沒有這項 benchmark。若有一天會了,他覺得可怕。他的講法是,講故事其實就是在騙人。兩三年後會不會變,他不敢說。

所以複利不一定寫書。製造、衣服、影片、influencer,還有深圳人做的 Amazon 爆款,都是先知道別人要聽什麼故事。槓桿可以做很多事,唯獨不是打工。他說這等於逼人從工業革命以來的螺絲釘變成廠長。很難,不是每個人都會講故事,亞洲的教育很少教,某些常春藤也許好一點。網上搜他的名字,多半還是 ByteDance,和他以前退休的事。馬斯克的做法是先把火星、月球講出來,再把事情辦成,講多了,下一件很瘋的話也有人信。他受的教育相反:沒做成不要說。他認為這正是現在模型還沒拿走的能力。

講到這裡他停了,免得被聽成散布焦慮。每個月都有事情在改,要炒股票、改教育,或只改工作方式,都得先承認變化是客觀的。他要的第一件事,是先把心胸打開。