https://www.youtube.com/watch?v=8JAqLnTaZu4
Stanford CS329A「自我改進的 AI Agent」第八講的主題是 agentic evaluations 跟 long-horizon tasks。課一開始先問了一圈，班上同學做過的 agentic eval 有 multi-hop 的問答、有拿私人 wiki 當知識庫的 QA、有幫論文核對參考文獻的正確性，也有重構整個 repo 這種事。這些場景有個共通點：它們都不是答案已經放在 context 裡、答一次就結束的題目。
講者也提醒尺度的變化。四、五年前，模型能生出任何解釋都算大事；現在要量的是它可能怎麼影響經濟、怎麼影響安全，而傳統 benchmark 那種聊天、問答、單次作答的題目正快速飽和。模型卻已經在做要好幾個小時的工作，我們手上沒有一把公認的尺。整堂課用三份研究回答兩個問題：模型能完成多長、多複雜的任務，以及這些任務在真實世界裡值多少錢。
這兩個問題各有一把尺。METR 用人類專業者的工時當錨，量模型能完成的任務時間軸，順便量在那個長度上它有多可靠。OpenAI 的 GDPVal 把真實工作直接交給模型，跟業界專家的產出比 win rate。講者說兩者都有效，看到的 insight 也接近，但量出來的趨勢差很多，而這個差異本身就是重點。
METR：用人類專業者的工時當尺
METR 的題庫由三種長度的任務組成。最短的一組是 1 到 30 秒的原子動作，例如在軟體工程裡把一個檔案打開，約 66 題。中間那組是一分鐘到三十小時的軟體與研究工程任務，數量最多，約 97 題。最長的一組是完整 ML 研究風格的工作，可以做到八小時，只有 7 題。合起來大約 170 題，最短一秒，最長八小時。
流程是這樣：先蒐題、審題，確認每題夠明確；再讓該領域大約五年經驗的專業者實際做一遍，記錄成功完成的時間，以及在他們眼中這題有多難；agent 那邊則反覆跑，量成功率。資料夠了之後，把成功率對人類工時擬合成一條曲線，從曲線上讀出模型在這個任務長度上的表現，也就得到「時間軸」這個數字。
人類那一端有它自己的問題。有經驗的人被訓練成知道「怎樣算做完」，所以常常低估題目的難度；人覺得難不難，跟模型覺得難不難也不一定同步。他們的做法是找幾位專家解同一題，看人之間的一致性，數字差太多就再補資料點，大致一致就往下走。
那個 50% 也要講清楚。它不是「每一題都必須過一半」，而是每個任務各自算多次嘗試的成功率，再把各題的成功率平均起來。所以 50% 的意思比較接近：這件事交給它，大概一半的時候會拿到好答案。
七個月翻一倍，但那是 50% 的成功率
把成功率跟人類工時放在同一張圖上，趨勢是這樣：一秒到三十秒的短題成功率普遍偏高；一分鐘到好幾小時的多元題型散得很開，最高到 0.8，最低到 0；完整研究題有成功案例，整體偏低。任務越長，模型越難一路待在軌道上。
沿著時間軸看模型世代，2019 年的 GPT-2 大約只能處理兩秒的任務；2023 年的 GPT-4 到幾分鐘，換算下來約 8 分鐘；2025 年的 Claude 3.7 Sonnet 是 59 分鐘。這是 50% 成功率的水準，大約每七個月翻一倍。講者用一個日常比喻壓住這個數字：等於把事情交給一個實習生，他只有一半的機率做完，可能交回答案，也可能沒有。
換到 80% 成功率的門檻，同一顆模型只剩十幾分鐘的任務長度，課堂上先講 8 到 10 分鐘，後面換算成 15 分鐘左右。80% 那條線大致也照著同樣的節奏在長，只是位準低了一截。59 分鐘跟十幾分鐘之間的落差，就是真的要部署時會碰到的可靠度問題。
這些改善是哪些能力帶來的？講者列了 reasoning、code generation、tool use 這幾條主線，再加上幾件不那麼顯眼的事：不要一直重複同樣的行為、出錯之後能恢復、對「最終目標是什麼、自己走到哪裡」有記憶跟掌握。課堂補充的方向也類似：把 context 整理好、context 滿了就壓縮、遇到複雜問題先規劃再依新資料重新規劃、拿到使用者回饋就把工作重做一遍，以及對 codebase 這種環境有 memory。
失敗模式是另一個重點。研究者把 GPT-4 這種非推理模型跟 o1 這種推理模型並排比，看到幾種反覆出現的壞法：規劃能力差，不知道怎麼把任務拆成步驟；工具選錯；心算或推理本身算錯；明明還在動，卻提早放棄，因為它不知道這個任務「成功」長什麼樣子；以及卡進重複迴圈，失敗之後還是繼續選機率最高的同一個動作。重複迴圈在 o1 上比 GPT-4 少。講者說，失敗模式分析很有用，因為那直接指出模型還有哪裡可以變好。
這把尺也有它的限制。碰到沒有單一正確答案、比較亂的任務，模型表現會掉。SWE-bench 的趨勢跟 METR 的圖類似，但標註者傾向低估工時，而且模型大多看過那些 GitHub repo，所以在 SWE-bench 上量到的 doubling time 會比完全沒看過的 repo 短。更明顯的是內部 PR 的實驗：同一個題目，外部承包人員會比 repo 維護者慢 5 到 18 倍，而模型的表現比較接近承包人員的時間。講者的解讀是，模型現在的定位還比較像一個沒有 context、被叫來解題的外包，還不是那個懂這個領域的專家。
GDPVal：把真實工作交給模型，跟專家比 win rate
GDPVal 把問法換掉。METR 問的是「這個我想交給 AI 的任務，它能不能做完」；GDPVal 問的是「同一個任務交給模型、不交給人，產出夠不夠好」，而夠不夠好由 win rate 決定，比的對象是業界專家。
題庫直接從真實工作來，設計者是各領域十年以上經驗的專業人士，涵蓋不動產、政府、製造、專業科學與技術服務、醫療、金融、零售、批發，以及資訊業（包含影片剪輯）。課程上舉的例子包括：製造工程師要設計組裝線用的電纜捲軸立架 3D 模型；投資分析師要做競爭地景；註冊護理師要看影像寫諮詢報告；影片剪輯師要依腳本剪出開場影片；客服要草擬回覆不滿客戶的 email；飯店禮賓人員要排一家四口的行程；稽核要從幾張採購單裡找出定價不一致；房仲要做新案的銷售手冊；活動人員要排園遊會的攤位動線。因為這些題目帶主觀成分，成功指標才用 win rate 取代對錯。
規模上，這份資料集鎖定 GDP 前 5% 的經濟價值、九個產業、約 44 個職業；O*NET 裡跟電腦相關的數位任務，大約 60% 進了這個評測集，其中一部分是公開的 gold set。題目平均要七小時才能完成，有些要好幾週；文字跟多模態都有，CAD、影片、音訊、試算表、簡報都算；gold subset 平均一題大約 400 美元；大約 70% 的題目要求模型去跟參考檔案互動；89% 經過專家確認規格夠明確，不是因為寫得含糊才把模型考倒。
趨勢跟 METR 長得完全不同。GPT-4o 在 2024 年的平均 win rate 是 12.4%，之後慢慢爬到 25%，再到 30 幾%，Claude Opus 4.1 上來後是 47.6%。這條線接近線性，跟 METR 每七個月翻一倍的指數線是兩種形狀。
講者花了不少力氣解釋這個差異。指數趨勢很容易讓人往下推：現在能做一小時的任務，下一季就能做幾小時，再下一季就是幾天。GDPVal 說的是，好幾小時、幾天、甚至幾週的任務，模型只有某個程度的可靠度；而且它是按職業拆開來看的，比單看「幾小時」這種數字更接近現實。
模型之間也有性格差異。一邊在美感、文件排版、理解 PDF／試算表／簡報上比較好；另一邊在指令遵循、計算正確、純文字任務上比較好。失敗模式最常見的也是指令遵循：模型答應要去讀參考資料，實際上沒讀，然後用自己的幻覺蓋過去；另外還有排版錯誤。某一邊在跟參考資料相關的指令遵循錯誤明顯較少。
可接受度的分布長這樣：大約一半的任務是「可以接受但略差」，只有約 20% 是模型真的更好，29% 是差或災難；人類評分者之間對同一份產出也有分歧。
課程還把 GDPVal 接回這門課的主題。既然講的是自我改進的 agent，平行採樣或序列採樣（同一題試很多次，每次拿上一輪的結果再改）能改善多少，就是個好問題。允許試 N 次的話，成本大約改善 1.6 倍、速度大約 1.4 倍，相對於沒有輔助的專家；而且在它成功的那個子集裡，成本還不到人類專家薪資的 10%。
哪些職業已經接近打平？政府、零售與批發的表現接近人類專家；短題、幾小時以內的比較好，題目一長就下滑；多模態跟文字任務各有強弱。已經摸到人類專家水準的包括租借櫃檯人員、房仲、進出貨與庫存管理、採購、電腦與 IT 系統主管、軟體開發；另一張圖上表現突出的是政府行政服務主管、法遵人員、醫療與健康服務主管、個人理財顧問、客服、零售銷售第一線主管，以及銷售、編輯、調查與新聞分析這幾類工作。
但把 prompt 裡的 context 拿掉，win rate 會掉幾分，更根本的問題是模型不知道該去做什麼。真實工作是 context 很重的：人負責決定要解哪一個問題、要把哪些背景放進來，模型負責解。這跟前面承包人員與維護者的落差是同一件事的兩面。講者的近期結論也因此保守：AI 輔助已經在專業 workflow 裡發生，配上人類監督確實划算，不同職業受影響的程度差很多，而且不同模型強在不同任務類型。
DeepScholar-Bench：寫一篇 related work，看它漏掉什麼
第三份研究把焦點放在研究合成上面。任務是幫學術論文寫 related work 那一節。這個題目算是課堂上有人許願的，希望 AI 幫忙寫論文的 literature review。選它有兩個理由：寫論文的人都需要它，而且它必須不斷更新，用新論文重跑，沒有過期這回事。這個領域也不是沒人做，OpenAI、Gemini、Perplexity 都有 deep research 產品，STORM 跟 OpenScholar 從史丹佛出來，這門課的作業也讓人自己搭過一個 deep research agent。
資料集用近期 arXiv 論文，PhD 難度，橫跨 22 個領域，每月用新論文重跑一次，所以它是 live benchmark，也避開資料污染；挑的論文只在主要模型訓練完成之後才發表。
評分拆成三個軸。第一個是 knowledge synthesis：產出有沒有把知識組織好、讀起來連貫，以及有沒有抓到關鍵事實。第二個是 retrieval quality：檢索回來的參考文獻跟你要研究的主題相不相關，引用次數好不好看，以及涵蓋度，也就是有沒有找到真正重要的論文。第三個是 verifiability：citation 有沒有支撐它旁邊那句話，這裡同時看 precision（引的都對）跟 coverage（該引的有沒有引）。三個軸的指標都經過人類驗證，人類之間的一致性大約 70% 到 80%。
現有系統沒有一個超過 19%。講者特別點出，大部分 benchmark 到後來都會飽和，這一個還有一大段空間。
拆開看更有意思。某一套 deep research 系統的英文寫得好、組織也漂亮，但幾乎所有模型都持續漏掉關鍵事實，漂亮歸漂亮，不保證涵蓋。檢索整體只是「還可以」，大家都找不到完整又重要的來源，文件重要性全部低於 12.5%。verifiability 方面，有一套系統的 precision 到 90%，而 OpenAI Deep Research 的英文很順，verifiability 反而較低。講者把話說得很白：寫得連貫跟驗得過，目前沒有一套系統同時做到。
失敗模式集中在幾個地方。找不到完整的來源；即使找到相關文件，也不一定找到奠基性的論文，因為專家是靠經驗知道哪些非引不可，那種 context 是累積出來的；模型不太會判斷文件重不重要，只能判斷相不相關；檢索對了，也不一定有效率地抽出關鍵資訊，把正確來源直接給它，關鍵事實的覆蓋率也只有大約 50%，不給更低。
這也回答了「為什麼要挑一個看起來很窄的題目」。講者的論點是，真實任務要能用，就得有辦法好好查知識庫，研究合成只是一個代表案例。任務長度跟經濟價值之外，還有一整類能力是關於去哪裡找資料、找到之後怎麼用、用完能不能驗。
三張尺量到的不是同一件事
三份研究並排之後，會發現它們各自簡化了不同的東西，缺口也不一樣。
METR 是自動評分，沒有多 agent 互動，題目設計成單一 agent 就能跑，不特別懲罰犯錯，也沒有資源限制。真實工作可能有主觀的評分標準，可以拆給多個 agent，也有成本跟犯錯的代價。
GDPVal 的題目規格寫到極致，人腦裡該有的 context 全部寫進 prompt，而且一次做完，沒有來回修正的機會；它同時要求模型自己已經具備那些說不出口的知識。
DeepScholar-Bench 要模型檢索、抽事實、驗證，還要把 precision 跟 recall 的取捨做到那個職業可以接受的程度。
同一個任務放在不同的尺上，讀數會很不一樣。研究合成任務在 METR 的尺上是 30 分鐘到 8 小時，現在的能力大約到 50 分鐘，但在那個長度上品質可能還是差的，成功率可能只有一半。所以 METR 的圖上好看，不代表經濟價值高。
到這裡，能確定跟不能確定的就分得出來了。能確定的是：隔離、規格明確的任務一直在進步；軟體工程跟 ML 研究是進步最明顯的兩個領域，一部分原因是我們自己比較懂這兩個領域，等於在自動化自己的工作；小時級的任務做得不錯；比較強的模型能生出組織很好的產出，即使不是每一部分都對。
信心較低的是：需要大量 context 的任務表現不好，prompt 一模糊就不知道要做什麼；對抗性的環境下表現也不特別好；要 95% 的可靠度還不到；軟體跟知識工作之外的泛化還沒真的看到；碰到知識庫，檢索、抽關鍵事實、再把抽出來的東西驗到高準確率跟高涵蓋率，都還是缺口。
剩下的長尾
課程最後把三條線收在一起。METR 說 50% 可靠度下的時間軸每七個月翻一倍，外推到 2028 到 2031 年，幾乎是一個月長的任務可以交給模型；GDPVal 的 win rate 是線性爬升，即使某些任務已經到 48%，還是有很多類別拿不到高 win rate，而且很多題目需要 context 或參考資料；DeepScholar-Bench 顯示的是檢索跟驗證的硬缺口。
講者自己的判斷偏保守：可靠度跟錯誤恢復會繼續改善，但表現會隨任務類型變動；horizon 變長不等於輸出可靠或高品質；所以尺不能只有一把，duration-based、economic-value-based、synthesis-quality-based 的指標都需要，而且都還要找人來驗。
長尾為什麼難，課堂最後也給了方向。SWE-bench Verified 在 coding 上很強，但還有一大類任務不是 PR 型的，這些會繼續難；有人形容前 80% 容易做，最後 20% 花了十年，分散式系統就是模型很難搞對的領域之一。至於卡在哪裡，講者的診斷是資料問題跟模型能力的混合：要做出有代表性的任務不容易，補上每個任務需要的模型能力也不容易。法律研究、財務研究這種大類採用得快，但很特定的領域就卡在資料量跟模型能力上；機器人跟 embodied AI 那邊，則有一批新創直接把資料收集當成主要假設在打。
至於兩年後會變成什麼樣子，講者說他手上的其中一項任務，最後會變成 AI scientist 在做的事：提出 hypothesis、跑實驗、把整個迴圈跑完。那是他們對 AGI 的定義，現在還不到。現階段模型比較像一個很強的 brainstorming 夥伴，一個 AI co-scientist。他也覺得可靠度的長尾會是最難啃的一段。
講者最後也把問題拉回學生身上：CS 這個專業不會消失，能想清楚 fundamentals 才是關鍵，因為 AI 再強都還是需要有人把 context 給它。