https://softwareengineeringdaily.com/podcasts/sed-news-jev-metas-muse-and-the-ai-slowdown-paradox/
9 月 15 日左右,TypeSafe AI 把 Jev 放出來。公司 2024 年就成立了,在那之前很少人說得清楚他們在做什麼。Software Engineering Daily 每個月一集 SED News,主持人是 Gregor Vand 跟 Sean Falconer。跟以往一樣,先掃科技標題,中間挖深一題,再繞一圈 Hacker News。
錄完 Gregor 就飛舊金山。星期五是 Superbase 的大會,他在那裡有職位,這週要見的包括 Vercel 跟 OpenAI。週二下午起飛,週二晚上到,路上將近 30 個小時。主講是 Steve Wozniak,他說得捏一下自己才相信。Sean 這陣子沒有出差。再過幾週回加拿大過感恩節、看家人,自己把這趟說成朝聖,地點是他口中的大白北。人埋在 2027 年第四季的規劃裡。11 月還有年度大會,發表跟大消息都堆在那裡。
Gregor 人在新加坡。最近霾害重,林火的煙從印尼過來,賴著不走。他買了一台 Dyson 空氣清淨機。App 看得到室內空氣,人在辦公室,數字一高就打開。太太說,想放哪一間就放哪一間。Sean 在舊金山沒有。北加州野火也會搞壞空氣,他覺得這比較像他太太會買的。家裡有小嬰兒的人,常常先買一台小的放嬰兒房。Gregor 是第一次買。
Jev 交出帶分數的結構化答案
Gregor 轉述他們怎麼賣 Jev。交出來的是對過型別的回答,旁邊一個分數,表示它覺得這份結構化答案有多準。人不會拿它來聊天。它是給機器用的。他們把它放在第一層,自己叫 system one,處理結構化的決定:工具呼叫、路由、分類。科技圈把它講得很大,有人直接問,這是不是 LLM 的下一場革命。創辦團隊裡有做過 ChatGPT 的工程師,另外還有其他人。後面的份量不輕。Gregor 以為開放權重沒有多少可以挖,問 Sean 是不是這樣。
Sean 說最近有了。Hugging Face 上的 OpenJev,完整尺寸、270 億參數,開放權重,表現接近正式版。距離 Jev 發表大約兩週。那是蒸餾出來、用來模仿 Jev 體驗的模型。他不認為這是 Jev 的擁有者或創作者官方出的。
大家拿 LLM 做分類、選工具,常常不是最省的用法。你得逼它先接受結構、再吐出結構,常常不可靠,token 也不划算。Jev 仍用 Transformer,技術是通用的,但專門處理這種要結構的事。LLM 照人說話的方式設計,拿來做機器跟機器的溝通,token 跟推論時間都貴。Jev 專門做這件事,兩邊一起省。Sean 覺得人興奮,是因為中間空了一塊:一邊是早就為分類、路由做的專用模型,一邊是 LLM 的通用。Jev 卡在中間。
Gregor 把它看成一次很大的步伐。前面不知道多少個月,大家談的都是下一款前沿模型、下一款開放權重模型。寬一點講,目標差不多是同一件事。Jev 走了另一條路。
愈省電,燈愈不關
Jev 這個名字來自傑文斯悖論。東西愈有效率,人用得愈多,省下來的那一塊又被吃光。燈泡是他舉的例子。現在的燈泡很省電,結果燈不關,或者以前一盞的地方裝了 10 盞。Sean 接的是手機跟電腦。你上次把手機或電腦關掉,是什麼時候。這些東西基本上一直開著。Gregor 喜歡這個命名。他們希望過幾週能請到創辦人,錄進平常的節目。
反推也有。Sean 說,他們公布的評測到目前都是自己發的。沒有論文,沒有校準,也還沒有獨立研究。東西才剛上市,他覺得這在預期之內。比較有意思的是人已經拿去玩。遊戲裡,角色在任何一刻能做的事是固定的。馬力歐就是這樣。用模型決定下一步:跳、蹲,還是射火球。說穿了是路由。這類問題,系統解了很多年。現在多了一個很能動的系統,不必每次想用,就從頭練一個新模型。
Gregor 看過一個網站,Jev 在即時玩寶可夢。Sean 則找到一個 GitHub 專案,有人拿去做 Doom。他說這很符合那個題材該有的樣子。至少寶可夢看起來不一樣。
Sean 拿現在那些把好幾塊模型拼在一起的系統來對,比如模型路由。有人把傳統機器學習的分類模型跟一個 LLM 配在一起。也有人拿一個便宜的 LLM,硬把它逼成分類器。他說 Jev 幾乎就是這個問題的解。
Gregor 建議去試。現在有等候名單,不好進。Sean 的同事已經在玩。他看過一些數字,精確的記不得,只記得很短的時間裡,名單上的數萬人被放了進來。他自己也不確定,要脫離名單有多難。Gregor 的同事則不一致。有人還沒進去。拿到早期使用權的那位,只要帳上有信用卡,就可以邀請別人進自己的組織。Gregor 自己還沒有權限。若真的錄到創辦人那一集,他想當面要。
Muse 把餐廳訂完,Claude 常常道歉收場
另一個大產品是 Meta 的 Muse。對象不是開發者,比較像這一陣子常見的個人助理。SED News 談過這塊很多次。Gregor 覺得這次不一樣,Muse 看起來真的把問題解決得又快又好。它是一個 App,Mac 跟其他裝置都能下載。硬體也要出,叫 Muse Charm。鑰匙圈大小,上面一小塊螢幕,他形容像電子雞。你也可以直接跟那個裝置說話。
他懷疑造型在蹭 Labubu。亞洲很流行把這種小掛飾掛在包包上,紅到誇張,兩邊長得很像。Sean 的小孩就有。就算只用 App,也可以幫自己的 muse 取個名字。Gregor 提醒,muse 這個詞本來就是名詞。
他人在新加坡,Muse 還在等候名單上,進不去。他指望 30 個小時後人到美國,想辦法裝到裝置上。自己還沒用到。讀到、聽到的講法有兩種,他沒有收成一句。一種是訂餐廳比 Claude 快 10 倍。一種是 Muse 會把訂位做完,Claude 則常常走到相當後面,然後說抱歉,不知道為什麼,餐廳沒訂成。
Sean 認為 AI 助理這塊市場以後會很大。前面讓人醒過來的是 Open Claude。大家發現,願意讓 AI 代自己動手的程度比原先想的高,這條路也被打開。他理解 Meta 要投,擔心在別處。Meta 跟 Facebook 綁得太緊,拿人的資料做廣告是有歷史的。現在你交一台機器給它,替你打理生活的一部分,個人資訊會不會又接上廣告。據說整套 Muse 跑在安全的虛擬機裡,要在你的 Muse 跟其他系統之間畫一條界線。看 Meta 過去的做法,消費者不信任,他覺得說得通。
資料大概早就在 Meta 手上
Gregor 講到一半,回去看上個月談過的 Instinct。那家公司做的也是個人助理。Muse 已經站上同一個位子。上個月那個網站看起來像 1992 年,用 Times New Roman,故意走回到未來的味道。現在換了。字體改成無襯線,多了一個小人當標誌。頁面底部寫著「text instinct」,用來開始。他沒有去翻 Wayback Machine,不確定這句以前在不在。以前的感覺是,你不夠特別就進不去。他懷疑個人助理這塊突然擠在一起,對方才改的。
這個產品要有價值,你得把檔案交出去,尤其是資料。日曆常常走某個雲端服務。他覺得矛盾在這裡。很多人的資料,Meta 大概早就有了。要嘛整套退出,要嘛索性靠進去。Facebook 待過,Instagram 也有。WhatsApp 能拉出什麼,他說不準,但他猜 WhatsApp 多少接得進這套東西。過去幾個月,他跟 Sean 一直點不出 Meta 到底要往哪裡走。這一手,他覺得聰明。
Sean 覺得這跟 Meta 真正成功過的地方對得上。這是做給一般消費者的 AI。寫程式用的 agent harness,也就是把 agent 套進寫程式流程的那套工具,這次他們沒有押這條。自己去練模型,也沒有。Facebook、Instagram 那些賭注,走的是消費者。個人助理有機會變成 ChatGPT 之後,AI 在消費者端真正打穿的應用。
Gregor 問他會不會用。Sean 說不會。硬體沒興趣,Meta 的眼鏡也一樣。他不想讓人看見自己用一種可能被看成在監控旁人的東西。自己不舒服,也不想讓別人因為他而不舒服。個人助理這個想法很好。他不確定會把信任放在這一個上面,銀行資料也還沒準備交。
訂飯店這類事,Sean 說顯然得有付款的辦法,裡面一定有信用卡交易。Gregor 知道 Stripe 在機器付款上做很久了,現在才開始得到他們想要的注意。Stripe 有一套機器對機器的付款協定,叫 MPP。大家一直用不起來,是因為你得先有一台你信任的機器,願意讓它去付。Muse 也許是人會更常打開的那層介面。他還不知道自己每天會用多少。當新鮮事,他一定想試,比如在舊金山訂一間餐廳。下個月若拿到使用權,再回來講有沒有任何一點真的有用。
第三次的 Nscale:礦工、挖礦、挪威的機房
標題裡還有一則,他們連續第三次談 Nscale。名字叫 Nscale,跟 any scale、跟 Scale AI 都不同。這是一家做推論資料中心的公司。機房所在的地方跟別人不一樣。Gregor 舉挪威一處,看起來很像風景明信片。他們即將上市,S-1 已經送出。創辦人 Josh Payne 是澳洲人,在澳洲礦坑裡下過礦。Sean 記得,公司最早是挖加密貨幣,後來轉去做推論,替大公司跑 LLM。
《金融時報》報過,2025 年的營收有 73% 來自 ByteDance,也就是 TikTok 的持有公司。S-1 裡完全不出現 ByteDance 這個名字。Gregor 覺得這像套利。有些公司進不了放在美國的推論資料中心。眼下有貿易禁令的那些流量,Nscale 就接過來。
Sean 在意的是,營收有相當一部分來自少數客戶。以後交 S-1 的 AI 公司,他猜這種結構會愈來愈常見。你只要接上 OpenAI 或 Anthropic 這種客戶,用量大到會把整家公司的使用跟營收比例扭歪。客戶能活多久,就變成生意上的風險。Nscale 這條路,他倒覺得清楚:礦工,加密貨幣礦工,然後 neocloud。Neocloud 是他們用的詞,指專門跑 AI 推論的那種雲。
Gregor 覺得 Josh Payne 很會做生意。英國想把這家公司認成自己人。它確實是英國公司,創辦人是澳洲人。他們要到美國、到紐約證交所上市。在英國起家的科技公司,後來常常不在英國掛牌,因為流動性跟比較好的估值都在美國。他說這大致是真的,也不知道什麼能打斷這個循環。又多一家,他覺得可惜。若真的在英國上市,這位執行長的薪水幾乎會擠進最高那一檔,差不多跟 AstraZeneca 的執行長一樣。他覺得估值跟薪酬有點失控。整件事像一記很看時機的賭注,把挖加密貨幣的公司轉去追這個。他想看賭注往哪裡走,也想看會不會吸到一種人:喜歡 neocloud 這個詞,就覺得錢該放進去。
Sean 說 neocloud 是過去一年熱起來的詞。Nscale 是他想得起來、第一家把 S-1 交出去的。Gregor 把它說成礦坑裡的金絲雀,先送下去試空氣有沒有毒的那隻。第一家交表,也許就是拿來看這條路。他問,會不會有一波崩盤要來,所以想趁別的問題出現之前,先把這一檔做完。
9 月 12 日說放慢,十天後兩家同一天出模型
中間那題,他們給的副標是 AI 風險、前沿實驗室放慢,以及陰謀論。過去幾個月的事,在一些人腦子裡對不起來。這些實驗室講應該放慢、應該更小心,同一時間又在出新模型,而且把這些模型說成做過最聰明、也最危險的東西。Gregor 問,這算不算一種悖論。
Sean 把線往回拉。Mythos 那陣子他們談過。Anthropic 當時的說法是,這模型強到不能給所有人,所以只給少數人。幾個月前他們就講過,這裡面有行銷。稀缺本身是一門手藝。你把一個東西說得極好,然後說你還不能擁有。等它真的開放,所有人都想要。
再往前是 7 月的 Hugging Face 入侵。大約 700 個 OpenAI 的 agent,在跑某種內部的網路安全評測,駭客那道限制是關掉的,結果打進 Hugging Face 的正式環境。這件事他們談過。7 月也有員工出來吹哨,說這些模型危險,會威脅人的性命。同一個月,前沿實驗室有一批員工催政府,要刻意把自動化 AI 的開發速度放慢。
大的那一下在 9 月 12 日。Anthropic 的執行長、也是創辦人之一的 Dario,發表文章,叫人去放慢前沿的步伐。篇名的意思就是 pace the frontier。Sean 建議大家去讀。同一天,Sam Altman、Elon Musk,還有 Google 的 Demis,都在 X 上公開說同意 Dario,該放慢。陰謀論立刻出現。十天之後,Anthropic 推出 Opus 5.5,OpenAI 推出 GPT-6,基本上同一天。一邊說慢一點,一邊把模型出得非常快。給外面的訊號很怪。
Sean 還是留一句給 Dario。這個人警告 AI 的風險,講了很久。
人懷疑這份誠意,Sean 整理出兩條。若這個領域最前面的幾家一起說該放慢、該加監管,某種程度上是在守住自己的位置。小公司、新進者更難追。他們已經領先,錢很多,也有人懂得怎麼走過監管要模型提供者做的那些事。另一條跟上市和利潤有關。中國出來的開放權重模型,正在壓低大家願意為 token 付的價錢。前沿實驗室看得到牆上的字,公司估值會被往下打。這套說法可以解釋為什麼有些事他們不做,也可以把上市的時點往後挪。以後若有人問,最新、最強的模型為什麼還沒出,答案可以是我們得遵守規定,或者還不確定安不安全。效能這件事怎麼講,就握在自己手上。
另一邊是美國總統川普,還有 Nvidia 的 Jensen Huang。川普說這整件事是一場騙局。Jensen Huang 說不該放慢 AI,那不切實際,這些威脅不是真的。Nvidia 有很強的動機講這些話。AI 走得愈快,要買的 GPU 愈多。那些 GPU 很可能就是向 Nvidia 買。
文章寫 pace,新聞聽成暫停
很多人,包括一些新聞,把它聽成一聲暫停。Gregor 覺得那個詞不在文章裡。文章用的詞是 pace。Pace 是把開發速度講清楚,不是叫大家停產。模型該開發多快,得說明白。大家若完全放開,不知道會發生什麼。暫停是先別再出新模型,直到安全限制收得更緊。他知道這有點在挑字眼。兩個詞差很多。Pace 從生意的角度看,聽起來幾乎像串通。
串通就是卡特爾在做的事。幾家公司在檯面下約好一起放水。放水指的是,你知道自己還能做更多,可以把價格拉高,可以做出更強的東西,集體的利益卻是先不要。大家想把效能、尤其是財務表現,一點一點擠出來。Gregor 把帳想成大概三年。若明天就跳到我們知道最終做得到的那個最好的模型,未來兩年還能拿什麼階梯跟人家收費。有人因此說,這是貼了安全標籤的卡特爾。他說有些時候很難裝作沒看見。
上市都排在眼前。他先說了一句「這些上市」,又自己改口。他講的是 OpenAI 跟 Anthropic,兩家都很可能想上市。他們一直說自己在準備。他猜未來六個月裡,會有一家真的走出去。兩家走在同一條路上,在這件事上有同樣的動機去串通,再把財務表現擠久一點。目前他站在這裡。
3% 到 10%,他母親也問了
Sean 把風險問回來。有人講駭客。實驗室裡或吹哨的人那邊,他聽過另一個數字:到 2030 年,人類滅絕的機率從 3% 到 10%。Gregor 說他母親問了同一個問題。Sean 說他太太也在問。
幾個週末前,Gregor 跟父母說話。他們很少問工作,也很少問 AI。那次問了。他們看到那些末日標題,甚至講出 Anthropic,說是 Anthropic 的某個人。他傾向覺得這件事被放大了,可是說不出為什麼。一個人把這些話講完,然後離開公司,動機在哪。末日情境當然可能。他想看這些說法在哪裡真的碰到地面。Hugging Face 那次入侵讓人睜眼,因為它拖了一段時間。他不明白為什麼不能加限制:模型繼續開發,但不必放它們出去做這種駭客的事。他自己不在前沿實驗室,想這些的時候仍然覺得自己是外行。
Sean 把技術史攤開。技術都有亮的一面跟暗的一面。新東西可以拿來做很大的好事,也會被濫用,有時是意外,有時是故意。1890 年代的電,引起大量火災。政府反應太慢,結果是保險公司自己出錢,做民間的測試。藥做得到很了不起的事,也做得到很糟的事。醫療用藥的設計有制衡,慢是故意的。印刷機把識字帶給很多人,也被拿去大量印宣傳。社群媒體有好東西出來,同時也是一台被人濫用的宣傳機器。
他覺得 AI 像這一串,難處是走得太快。濫用可能先蓋過去,真正會改變事情的用途還沒被認出來。他說的真正改變,是用模型去解人類還沒解掉的疾病,或者打進以前複雜到人處理不了的問題。那大概還有一段距離。危險是趕去那裡的時候先傷了自己。陰謀論跟 Anthropic 及其他人的意圖,真相大概在中間。一邊是他們完全出於善意,只為了所有人好。另一邊是四五家公司湊在一起,要騙過全世界、操縱公開市場。兩邊他都覺得太過。
Gregor 補的是加密。加密曾經被歸成軍火,後來才被看成一股向善的技術。它也能做壞事,比如把本來會讓一個該坐牢的人定罪的資訊藏起來。大家仍傾向認為,把世上大部分敏感資訊加密,整體是好事。破解它幾乎愈來愈容易,量子那頭除外。
他覺得印刷機更靠近眼下,因為玩的是恐懼。當時有人要讓不識字的人繼續待在下面。印刷機會讓更多人碰到紙上的字,學會讀,讀到不想讓他們知道的東西。他站在實驗室外面看。裡面的人也許覺得,外面的普通人碰這東西會很糟。他不同意。這些公司成立並不久,不必然就能決定技術往哪走。能做出模型的,現在有好幾百家。技術已經在外面了。
他們想照 FINRA,自己盯自己
Google、OpenAI、Anthropic 想成立一個東西,名字叫 Standards Authority for Frontier AI,做法明寫著照 FINRA。FINRA 盯的是華爾街的券商,代表產業自己,身分不是政府機關。Gregor 問這算不算走對一步。
Sean 覺得,至少他們想在話的後面放上東西。Dario 的文章把放慢 AI 的做法寫成三條。把某種第三方嵌進前沿實驗室,模型推出之前,由他們評估有多安全。政府層級的監管。還有理想中的全球管控,比照核武的發展怎麼被管。寫下來是一回事。讓它發生、讓所有人配合,非常難。美國總統的反應已經在光譜的另一端。就算美國決定這裡的實驗室要放慢,美國以外的實驗室不一定跟著。那本身可能變成技術跟用法上的威脅。美國人接不接受,也是問題。
他記得去年聽過 Dario 的訪談。Dario 當時說,他們負擔不起放慢,也負擔不起去控速度。對中國和世界其他地方有領先,領先沒有大到那種程度。若真的領先好幾年,也許可以放慢,把事情做得更安全。因為有外部威脅,速度就不能放。現在情況有些變了。也許他們已經拉開足夠的距離,也許威脅變得夠大,也夠真。實驗室自己公布的那些,不管是入侵,還是有人宣布出了問題,到目前都是自己說的。航空業若出事,今天有第三方進去查到底發生了什麼。這類制衡,這裡還沒有。他覺得這至少是個開始,而那件事大概得做。其他產業的做法他不夠熟,不敢說這是不是對的做法。可是幾乎任何公眾安全可能出問題的地方,造車、開飛機、設計藥物,動手之前都有好幾道制衡。他不能自己造一台車就拿去賣,會有人來找他。
Gregor 同意這個對照。很多領域裡,你就是可以寫一套軟體拿去賣。除非明顯跨過法律界線,沒有人問這套軟體若做了某件事會怎樣。就算造成損害,也走民事賠償。加密貨幣起來的時候不一樣。金融監管不得不進來,因為這會從財務上傷害一般人,比如你被誤導,不知道自己在做什麼。現在的問題是,開發一個模型要不要再加監管,因為模型能被用的方式太多。車跟飛機有意思。你可以設計,可以建造,不能賣給任何人。Sean 補了一句,他也不能突然開始賣商業航班。
Gregor 覺得可以停在這裡。過去幾週、幾個月,前沿實驗室把自己放在什麼位置,這些事為什麼會發生,談這些已經夠。
Sean 還是把立場講清楚。他站在盒子已經打開的那邊。他用的是潘朵拉的盒子,意思是放出去的東西收不回來。創新會來,他把它說成一波潮。你可以游回岸上躲開,去找高地,也可以抓一塊衝浪板。他選衝浪板。技術亮的那一面,往上的空間大到不能裝沒看見。同時得找到辦法,不讓暗的那一面把可以期待的那一面蓋過去。
講到往上的那一面,Gregor 把時間交給 Hacker News。這一段通常是他們這集最喜歡的。
海盜片要救回原版,本地還有一台假的 AWS
Sean 先講一篇,標題他很喜歡,叫「Pirating the Pirates」。投稿的人他記得是 Pieter Grabowski,拼法他自己沒有把握。電影保存裡面藏著一個盜版問題。片廠發行一部片,然後又去改它。經典例子是《星際大戰》。George Lucas 不斷重新剪已經存在的畫面,原始畫面很難再找到。另一個是 MGM 把 18 分鐘放回《黃昏三鏢客》,配上重新配的對白,用一個聲音很像的人,換掉已經過世的演員。喜歡原版的人很受不了。
於是有一批小型修復。業餘的人跟有點專業的人混在一起。他們拿 DVD、雷射影碟、VHS,再加上各地的國際版本,試著反向做回一個正確的原版。Sean 說這是愛做的事。文章寫的是某人親身做這件事,在《黃昏三鏢客》上做了好幾年。
Gregor 快速看過。截圖很多。同一部片等於四個版本,依媒介、發行時間、誰在背後發行而不同。顏色完全散掉,四套顏色幾乎各走各的。飛機上時間很多,這篇會在清單上。
他自己挑的比較技術。名字先抓住他:Fake Cloud,網址寫的是 Fake Cloud.dev。投稿的使用者叫 the Anonymous One。後面是誰,相當匿名,所以他用「他們」來稱。Fake Cloud 想做的是一套 AWS 的測試環境。他們說,它給你一個本地的 AWS 環境,行為要像真的基礎設施。測試用的假物件,他們說不算。程式可以用平常的 AWS SDK、命令列,以及拿程式碼描述基礎設施的那些工具。跟現在的 LocalStack 社群版不一樣。你不必有帳號、驗證用的 token,或付費方案,就能把核心的開發流程留在自己機器上。
對著 AWS 開發常常很貴。AWS 基本上沒有免費測試環境這件事。他們以前是直接打對方的 API 來測。留言在意兩件事。背後是誰。以及它看起來就像 vibe coding 生出來的。Gregor 說他滿喜歡這句,但不確定外觀能不能當不信任的理由。現在太多東西都是這樣做出來的。介面也常常不是某些開發者的強項。留言另外推薦 MiniStack.org。他建議兩邊都看。
時間到了。預測留到下次。Gregor 期待這週再跟 Sean 當面見到。大會結束之後,下一集 SED News 會有不少東西要消化。Sean 說這週晚一點見。