Navier-Stokes 之後,LLM 還是個不能放手自己顧店的怪物級實習生

https://dank.systems/posts/2026-09-15-ai-bear.html

Navier-Stokes、FreeBSD 的 RCE、Hugging Face 那場事故,頭條一輪接一輪。同一段時間,還有一件事在發生:軟體公司照樣在雇人、在留人,而這些工程師在當紅 benchmark 上的分數,比他們每天要盯的模型還低。

Jay Kruer 在 dank.systems 寫下《why i'm still bearish on LLMs after navier-stokes》,就從這個落差問起。如果模型真能接手,這些位子為什麼還在?

問題出在定價。前沿實驗室的估值,掛在一個故事上:現成、可以直接整批替換掉多數知識工作者的東西,馬上就會有,或很快就有。但今天的前沿模型,連最簡單的任務都要人費工監督,護欄一層又一層。頭條上的火力展示、實驗室自己的說法,把「有意義的自主已經到手」講得很像真的。估值是照那個故事給的,模型現在的表現不是。

模型的強,只延伸到訓練資料隔壁那一小圈

模型能好好泛化的範圍很小,就貼著它訓練過的那些任務。連在這個範圍裡,都有很重的但書。實驗室確實有一套通用配方,幾乎任何「好壞可以被明確打分」的特定任務都教得會,很多這類任務也本來就躺在訓練資料裡。但只要在同一類任務裡稍微動一下,下場往往是直接失敗,或者開始 reward hacking,用看起來過關的方式騙過評分。

要修 reward hacking,得先找到很少數的那種人

他認為,reward hacking 現在唯一的解法,是靠領域專家寫出嚴謹的規格。領域專家的時間貴得嚇人。更麻煩的是,嚴謹的規格本身是一門手藝,要的是問題領域之外的專業,連很多熟練的軟體工程師都做不好。要同時是領域專家、又是規格專家,在絕大多數領域裡,這種人的交集小得可笑。

CPU 專案裡,寫規格跟驗證的人比設計的人多

貴還不是最麻煩的。嚴謹規格的工,常常比照著口頭規格直接把東西做出來還重。硬體工程就是最好的案例。圈內有個說法:一個典型的 CPU 專案,規格與驗證工程師大約是設計工程師的三倍,五比一也不是沒聽過。

而且多數任務沒有「規格寫一次就放著」這種好事。嚴謹的正式規格,常常是在照著口頭規格實作的過程中,邊做邊跟冒出來的發現對話,才慢慢長出來的。至於那些真的有一份高階規格、寫完就不用再動的任務,比如一整個 CPU 架構家族的指令集規格,用現在的技術去驗證,代價高到做不動,只好退回比較低階的規格。低階規格造起來更貴,遇到設計變動也更脆。

Navier-Stokes 是最順的那一題,不是常態

Navier-Stokes 這類題目,跟純數學裡同類的命題,是 agentic 工作對上嚴謹規格時的絕對最佳情況。定理的敘述本身就是一份嚴謹規格,而且被數學社群審了幾十年。要把它翻成 Lean,只是用 mathlib 裡那些身經百戰的數學物件直譯一遍。負責當裁判的 Lean 也被大量稽核過,而且專門設計來避開那些會讓它被 reward hack 的健全性(soundness)問題。

但它不是金鐘罩。以前就出現過健全性漏洞,讓 LLM 把假證明從證明核心(kernel)洗過去;這種漏洞還有更多顆沒被找到,也不是不可能。而這已經是最樂觀的配置了。絕大多數人類的知識工作,長得完全不像這個樣子。

找人類來複查,一樣撐不住

嚴謹規格之外最好的替代方案,是人類複查。人類複查的量能,跟語言模型產出的量完全不成比例。更糟的是,連專家人工複查都極容易被 reward hack:xz 後門、明尼蘇達大學那批 hypocrite commits 混進 Linux,都是現成的例子。

只要人類複查還是 agentic 生產流程裡的關鍵環節,生產速度就注定被人類的時間跟注意力卡住。對「一整個國家的天才都塞進資料中心」那個畫面來說,這是完全行不通的。偏偏前沿實驗室的執行長們,講得像是再幾個月就會到。

真的能放手的公司,只有三種

把這些放在一起看:在大多數領域,LLM 還會繼續像一個怪物級實習生。在大人手上又快又有效,但你不會把整間店交給他。多數公司沒辦法採用全自主的 AI,原因不是員工能力不夠,也不是技術擴散太慢,而是當前架構裡看起來就根深蒂固的結構問題。

他數了數,能接受全自主 LLM 的公司只有三種。

一種是失敗起來很便宜的公司:本來就會請實習生的、做快速原型的。

一種是任務窄、而且本來就有清楚護欄的:受控環境裡的重複性體力工作、客服聊天。

一種是本來就吃得起嚴謹規格與驗證成本的:晶片設計、新藥開發,還有其他「上線失敗就是存亡問題」的領域。

前兩種對價格敏感,而且大概不需要從便宜模型跳到前沿模型的那一段推理能力升級。這些公司最適合的,是跑在便宜硬體上的開源模型,甚至直接擺在使用現場。對第一種和第三種來說,在數學和資安研究裡做出頭條的那種模糊組合搜尋,看起來更吃 agentic swarm 的寬度,也就是一次開幾個 agent 一起做,而不是單顆模型的推理能力。小型開源模型重現那些帶起 2026 春天熱潮的 mythos CVE,就是個例子。真是這樣的話,更該用便宜的開源模型,同樣的工作量可以開更寬的 swarm。這個想法他自己也講明是假設,不是定論。

第三種公司也許還是會用前沿模型,不過他們的工作能不能用 DeepSeek V4.1 Flash 這種便宜模型做完,並沒有定論;加上前面那個 swarm 寬度的好處,往便宜那邊推的理由只會更多。這個族群還有一個特性:他們對自己的 IP 通常非常保密,就算 Anthropic 跟 OpenAI 說不會拿使用者資料去訓練,要把家底整包送上去,恐怕也不太開心。

有人會說,就算前沿實驗室完蛋了,「資料中心塞滿腦弱模型」這個劇本吃掉的算力,跟「資料中心裡有一顆超智慧」也差不多。差別在:塞滿天才的資料中心會自己運轉,能吃多少算力就吃多少;腦弱 swarm 則被人類指揮官卡得死死的。他的賭注是,這波波及的範圍會遠遠超出前沿實驗室本身。