Karpathy 這支兩個多小時的影片，講的其實是同一套動作：搞清楚你在跟哪一顆模型講話、context window 裡現在躺著什麼、答案來自它的記憶還是它剛剛查到的資料，然後自己看最後一眼。他把這件事從玄學拆成可以上手的步驟，前半段先解釋你對話的那個東西到底是什麼，後半段一路示範到語音、圖片、影片。
這是接在他先前那支拆解 LLM 內部訓練的影片之後的實用篇。整場他丟出來的都是自己生活裡的 query：一杯 americano 的咖啡因、White Lotus 第三季什麼時候播、驗血報告那份 20 頁的 PDF、家裡牙膏的成分表，還有一次他自己逮到模型報錯數字。看完會留下一個很具體的印象：這些工具很強，但他從來沒有完全放手過。
你對話的對象，是一個壓縮過的 zip 檔
ChatGPT 在 2022 年上線，那是第一次一般人可以用文字框直接跟大型語言模型講話。他先把底下發生的事拆開。你打進去的字會被切成一段一段的文字塊，也就是 token。他示範的例子是請模型寫一首關於「當一個大型語言模型是什麼感覺」的 haiku：他的 query 是 15 個 token，回來的 haiku 剛好 19 個 token。如果把來回兩則訊息照 ChatGPT 實際的對話格式排好，中間再加上標記誰在說話的特殊 token，整串是 42 個 token。模型手上的 vocabulary 大約 20 萬個 token，同一個字大小寫不一樣就會被切成不同的 token。想自己看的話，可以拿 TikToken 這類工具把字貼進去，它會即時畫出 token 序列。
所以對話表面上是聊天泡泡，底層是雙方輪流往同一條 token 序列裡寫字。你打完按 enter，控制權交給模型；模型吐出一個「我說完了」的特殊 token，控制權再還給你。這條序列就是 context window，他把它叫做這場對話的工作記憶：只要在裡面的東西，模型可以直接取用。但這塊記憶體有限，而且會互相干擾。他的建議很直白，換題目就開新對話。舊的 token 留著不只讓模型分心，還會讓每次取樣稍微慢一點、貴一點。
接著是最重要的那個比喻。pre-training 是把整個網路切碎、壓縮成一個檔案；一個 1TB 的 zip 檔，大約對應一兆個參數。這個壓縮是有損的、機率性的，不可能把整個網路塞進一個檔案裡，所以留下來的是整體輪廓跟感覺。他用第一人稱幫這個檔案寫了一段自我介紹：我是 ChatGPT，我是一個 1TB 的 zip 檔；我的知識來自網路，大概半年前我整份讀過，但我只隱約記得；我討喜的個性，是 OpenAI 的人類標註員用範例一個一個教出來的。
pre-training 給知識，post-training 給人格
訓練有兩個階段。pre-training 讓模型在大量網路文件上預測下一個 token，世界的知識就在這個過程裡被壓進那一兆個參數。這一步很貴，他給的量級是耗費數千萬美元、跑大約三個月的訓練，所以不會常常做。GPT-4o 的 pre-training 可能是好幾個月、甚至一年前的事，這就是 knowledge cutoff 的來源；上週發生的事不在那個 zip 檔裡，要另外想辦法餵給它。
第二階段是 post-training。他把這一步形容成在 zip 檔上貼一張笑臉：資料集從網路文件換成人類整理出來的對話，模型在這裡學會當一個助理，知道怎麼接問題、怎麼回話。知識從 pre-training 來，講話的方式從 post-training 來，兩者合起來，就是你在對話框另一頭遇到的東西。
他特別強調這個東西預設是自我完整的。沒有計算機、沒有 Python、沒有瀏覽器，你丟 token 給它，它丟 token 回來，就這樣。所以他挑問題的方式是有意識的。早上他問 ChatGPT 一杯 americano 大概含多少咖啡因，答案是約 63 毫克。他敢問，是因為這不是最近才變的知識，而且這種資訊在網路上出現的次數多到不行，但他還是去查了原始資料，確認 63 這個數字差不多。另一段對話是他感冒、鼻水流不停，想找藥；他問 Dayquil 跟 Nyquil 有沒有用，模型把成分列出來解釋，他把家裡的藥盒拿出來對，成分是對的，Nyquil 基本上就是 Tylenol 這件事也對。不高風險、資訊常見、他會抽查，這三個條件湊齊，他才放心。
先搞清楚你在跟哪一顆模型講話
ChatGPT 是最早的那個，也是最紅、功能最多的，但 2025 年的生態系已經不是它一個人的。大公司各自推了很像的東西：Google 的 Gemini、Meta 的 Meta AI、Microsoft 的 Copilot；新創那邊有 Anthropic 的 Claude、XAI 的 Grok，另外還有中國的 DeepSeek 跟法國 Mistral 的 Le Chat。要追誰現在最強，他提到兩個地方：Chatbot Arena 的 Elo 分數排名，還有 Scale 的 SEAL leaderboard，後者可以看不同 eval 上各模型的表現。
付費分級這件事比多數人想的更重要。ChatGPT 免費層給的是 GPT-4o mini，參數比較少，寫作跟知識都弱一階，也比較容易 hallucinate；如果用沒登入的視窗，OpenAI 甚至不會告訴你現在用的是哪一顆。Plus 是每月 20 美元，GPT-4o 每三小時 80 則訊息；Pro 是每月 200 美元，GPT-4o 不另外限額，還多一批功能。Claude 付 pro 方案拿到的是 Claude 3.5 Sonnet，沒付費大概只有 Haiku。Gemini 跟 Grok 也都有選擇器，Grok 要付到能用 Grok 3 那一階。
他的用法跟多數人相反：他付了很多家，同一個問題全部問一輪，他把這群模型叫自己的「LLM 顧問團」。想找個城市跨年，他問了每一家；Claude 推薦瑞士的 Zermatt，Gemini 也推薦 Zermatt，他就去了。他的建議是去試不同家、不同價位，看哪個組合對你手上的問題最划算；如果是專業用途、又覺得便宜的模型不夠聰明，很值得往上付一階。
thinking model 值得等，但只值得等在某些題目
第三個訓練階段是 reinforcement learning。他把鏈條講成 pre-training 接 supervised fine-tuning、再接 RL。RL 的內容是讓模型在大量像課本習題的數學與程式題上練習，練的過程中它自己找到有用的思考策略：試一個想法、卡住、回頭、重看假設。這些策略很難靠人類標註員寫死，因為沒有人真的說得清思考過程該長什麼樣，是 RL 讓模型自己找出對它有效的那一套。這是一兩年內才發生的事，DeepSeek 那篇講「用 RL 獎勵推理能力」的論文是第一個公開把它講清楚的。
所以那張卡通圖裡的模型多了一個思考泡泡。OpenAI 這邊是 o1、o3-mini、o3-mini high、o1 pro；Grok 的介面上有 think 開關，按下去底下就換成 thinking 那顆。他拍片時 Claude 3.7 剛發表，多了 extended 模式，標榜最適合數學跟程式，他推測底層也是同一套 RL 訓練。缺點是要等。模型會吐非常大量的 token，花掉好幾分鐘，這段時間你就是在等它想完。而且 OpenAI 不給你看完整的思考，只給摘要。
他用一個真實的 bug 示範差別。他被一個 gradient check 失敗卡住，寫的是多層 perceptron 的優化，程式碼貼給 GPT-4o，也就是不開 thinking 的旗艦。它回了一串「你可以檢查這些地方」，看起來有道理，但沒有一個是真正的問題。同一個 prompt 換到 o1 pro，它想了大約一分鐘，注意到參數在打包跟解開的時候對不起來，解掉了。他也把同一題丟給其他家：Claude 3.5 Sonnet 解掉了，在他當時的理解裡那不是 thinking model，Anthropic 那時也還沒有部署 thinking model；Gemini 解掉了；Grok 3 也解掉了。Perplexity 上面可以選 DeepSeek R1，而且會把原始思考過程攤開來，他貼過去跑，可以看到它先猜幾個方向、再回頭檢查 gradient 累加的順序，最後發現參數打包的方式錯了。
什麼時候值得等？數學、程式、需要大量推理的難題，準確率會明顯往上。問旅遊景點就不必，沒必要為此等一分鐘。他自己的順序是先用不思考的模型，因為快；覺得答案不夠好，再切到 thinking model。
搜尋不是內建能力，是它決定要伸手去查
接下來是工具。到這裡為止模型都還是那個封閉的檔案，但你可以在它外面接東西，最有用的一個是上網搜尋。機制他講得很細：模型吐出一個代表「去搜尋」的特殊 token，應用程式暫停取樣，拿模型給的 query 去搜、去逛網頁，把這些網頁的文字整批塞進 context window，可能十頁、幾千個 token，然後再把控制權交回模型，讓它對著你原本的問題回答。它答得出來不是因為它知道，而是因為那些文字現在就在工作記憶裡。
他的例子是 White Lotus 第三季第二集哪時候播。以前要自己 Google、點開一堆連結、有時還會撞到奇怪的廣告。Perplexity 是最早讓人覺得這件事真的可以交給模型的 app，ChatGPT 後來也加了搜尋按鈕。有時模型會自己判斷需要查，他在 ChatGPT 沒有按搜尋，它就自己去查了，還附上引用；有時你最好自己按下去。他也試了不按的 Grok，Grok 自己去查了。
反例比較有教育意義。他拿同一個問題去問 Claude，Claude 那時沒有搜尋工具，直接說「as of my last update in April 2024」，也就是它的 knowledge cutoff，答不出來。Gemini 2.0 Pro experimental 也說自己沒有即時資訊的存取權；換成 2.0 Flash 就有，還附上 sources。最強的那顆不一定有工具，這件事得自己記。
他列了一串自己平常真的會丟去搜的 query：今天市場有沒有開（那天是 Presidents' Day）、White Lotus 在哪裡拍、Vercel 有沒有提供 PostgreSQL、Apple 發表會跟相關謠言、Single's Inferno 第四季的卡司在哪、Palantir 為什麼漲、Civilization VII 確切的上市時間、Brian Johnson 有沒有講過他用什麼牙膏、現在去越南安不安全。共同點是這三種：最近才發生、會隨時間改變、冷門到他不敢確定網路上有足夠多人在講。還有一種是他在 Twitter 上看到某個話題在燒，想知道大概在吵什麼，因為單看一則貼文常常沒有前後文。引用是他驗收的方式，他會點進去，確認不是模型自己編的。
deep research：十分鐘換一份有引用的草稿
deep research 是他覺得被低估的功能，做的事是搜尋加思考，掛在 200 美元的 Pro 方案底下，ChatGPT 是第一個端出來的，之後 Perplexity 有 Deep Research，Grok 有 deep search（他不確定兩者是不是完全同一件事）。
他的例子是 supplement。他上網買東西時看到 Brian Johnson 的 starter pack，裡面有一罐 Longevity Mix，成分裡有個叫 AKG 的東西，每份 2.5 克，他想知道那是什麼，於是直接把問題寫成一份研究委託：它在人體或動物模型裡的 efficacy、可能的作用機制、有沒有毒性或其他疑慮。模型先反問他要聚焦人體臨床還是動物、來源範圍、要不要跟其他長壽化合物比較；他回說 both、所有來源、不用比較。
ChatGPT 想了五分鐘、讀了 27 個來源，交出一份涵蓋線蟲、果蠅、老鼠與進行中的人體試驗的報告，加上提議的機制、安全性與顧慮，附引用。他對三家做的東西評比：目前 ChatGPT 那份最完整、最長、讀起來最順、最講得通，Perplexity 跟 Grok 短一點、簡略一點。
他也示範了這個功能怎麼失手。想換瀏覽器時，他請它比較 Brave 跟 Arc 在隱私上的差別，結論是 Brave 明顯好一些，他就換過去了，這是他覺得最適合 deep research 的用途：研究產品、比較選項。另一份是「美國的 LLM lab 有哪些、規模跟募資多少」的表格，結果 hit and miss：有些數字他沒有一一查核，但看起來不太對；XAI 整家不見了，他覺得這是重大遺漏；Hugging Face 不該被算進來，因為他問的是美國的 LLM lab；還有一家以資源規模來說稱不上主要 lab 的也在表上。他的結論跟前面一樣：這是一份第一版草稿，引用是你下去讀的入口，不要當成事實。
把 PDF 丟進 context window，跟模型一起讀一本書
同一件事也可以自己做：把文件上傳，讓它進 context window。模型不再只靠參數裡那種霧霧的世界知識，而是有一份具體文件可以指。拍片時 Claude 3.7 剛發表、是當時的 SOTA，他把一篇 Arc Institute 的論文丟進去，主題是一個用 DNA 訓練的語言模型 Evo 2。那份 PDF 大約 30MB。他推測底下的處理是圖片被丟掉、PDF 轉成純文字再進 token window，Anthropic 沒有把細節講清楚。他想先要一份摘要，結果 Claude 回他超過長度限制，他只好改用 ChatGPT，用 GPT-4o、不開 thinking，拿到一份關於基因體建模的摘要。他的用法是邊讀 abstract 跟 introduction，邊把問題丟進去，讓一份不好讀的論文變得可以一起讀下去。
他把這個習慣帶到讀書。他現在很少自己一個人讀完一本書，一定會帶著 LLM。例子是 Adam Smith 的《國富論》，1776 年的書，Project Gutenberg 上就有全文。他把自己正在讀的那一章（Book One 裡講分工如何被市場規模限制的那一章）複製貼上，先提醒模型這一章在講什麼，再要一份摘要，然後一邊讀一邊問。他說這樣讀，retention 跟理解都明顯變好，尤其是別的領域的文本（他用生物當例子），或是很久以前的文本（1776 年，或莎士比亞），因為你不再是從第一句就卡住，可以慢慢拆。這個流程現在很笨，他就是到處找書、複製貼上、來回切視窗，他也不知道有哪個工具把這件事做順。但結論下得很乾脆：不要一個人讀書。
它不會算數，它會寫一段程式去算
Python 直譯器是另一種工具，也是他很看重的一種。他先從 30 乘 9 開始：模型直接說 270，這其實比較像背出來的，不是真的在算，也不需要工具。換成一長串數字相乘，你跟我都不可能在腦子裡算，模型這時候會切換：它寫一段程式，吐出應用程式看得懂的特殊 token，意思是這段不是給人看的、拿去跑，程式跑完把結果當文字傳回來，模型再接手把答案講給你。OpenAI 用人工整理的資料教它什麼情況該伸手拿工具。
各家有沒有這個工具，差別很大。他試了 Grok 3，那時它沒有 Python 直譯器，硬在心算，答案很接近但錯了。Claude 那次寫的反而是 JavaScript，也算程式語言，答案正確。Gemini 2.0 Pro 看起來沒用工具，答案好像是對的，他把題目換得更難一點，再用 MacBook 上的計算機對，錯了，也是很接近，但錯。
真正實用的是 ChatGPT 的 Advanced Data Analysis，他把這個功能形容成一個可以合作的 junior data analyst。示範是查 OpenAI 的估值：他明確要求用搜尋，不想要模型編數字，請它做成一年一列的表格，再畫圖、y 軸用 log scale。圖出來了。他讀產生的程式碼時發現兩件事。第一，2015 年那格的估值是 NA，模型在程式裡默默填了 0.1，等於自己假設那一年是 1 億美元，沒有告知。第二，他要它 fit 一條趨勢線、外推到 2030 年，它用 SciPy 的 curve fit 做出來，嘴上說 2030 年大約是 1.7 兆美元，但程式印出來的變數是 20,271.7B，換算大約 20 兆，兩個數字差了十倍。他直接去問它是不是騙了他，它回「對，抱歉，我搞砸了」。他的結論是這工具很強，但前提是你讀得懂那段程式；如果使用者不會讀也不會驗，他不太敢推薦。心不在焉的 junior analyst，這是他給的評語。
Claude Artifacts：需要一個小工具時，它當場寫一個
Claude 這邊有一個對應的功能叫 Artifacts。他先讓它從 Adam Smith 的 Wikipedia 條目生出 20 張 flashcards，接著在同一個對話裡說：用 artifacts 寫一個 flashcards app 來測這些卡片。Claude 寫了一個 React app，把問答寫死在裡面，Claude 的介面直接在你瀏覽器裡把元件跑起來，可以翻牌、可以答對答錯、可以重置或洗牌。沒有後端、沒有資料庫，就是一個跑在瀏覽器裡的小工具。他點出這個模式跟以前不一樣：以前是工程師寫好一套軟體、再讓你想辦法上傳卡片，現在是它替你就地寫一個，只給你用。
他自己不是每天都用 Artifacts，但有一個用途他很常回去用：畫圖。把《國富論》那一章丟給它，要它畫一張概念圖，它會用 Mermaid 寫出圖表定義，再畫出來。圖上排的是那一章的骨架：分工與市場規模的關係、陸運與水運的對比、地理位置如何讓早期文明受益。他說自己是偏視覺型的思考者，喜歡看一個論證被排成樹狀，這樣很容易記住那一章在幹嘛。書、章節、原始碼，什麼都能畫。
寫程式的人不會停在網頁版：Cursor 與 vibe coding
他自己大部分時間在寫程式，但他不會去 ChatGPT 要程式碼片段，太慢，網頁版也沒有本地專案的 context。業界用的是另一批工具：VS Code、Windsurf、Cursor。他現在用 Cursor，那是一個裝在電腦上的程式，直接讀你檔案系統裡的檔案，邊聊邊改。底下跑的是 Claude 3.7 Sonnet，打的是 Anthropic 的 API，只是複製貼上的工作由它代勞。
示範是從一個全新的專案開始，他請 Composer 建一個 React 專案、刪掉不要的 boilerplate、做一個 tic-tac-toe。他大概只寫了五句話，CSS、JavaScript 都是它寫的，跑在本機，可以玩、可以贏、可以平手。工具本身也進化了：一開始是 Command K（改這一行）、Command L（解釋這段），現在是 Command I，也就是 Composer，加上 agent 之後它像一個在你 codebase 上自主行動的東西，會跑指令、會跨檔案改。他把這件事叫 vibe coding，說這個詞大概是他造的；意思就是把控制權交給 Composer，你只負責下指令，然後希望它會動。
他現場加了需求：贏的時候要有 confetti。Composer 裝了 React Confetti（他本來不知道有這個 library），改了 app.tsx，再加 CSS 讓贏的格子跳出來。它接著想加音效，要下載一個 victory.mp3，他不知道那個檔案、那個 URL 從哪來的，但它最後真的有聲音。過程裡它會停下來要求確認指令，最後他 git add、commit。真的除不掉的 bug，檔案都在，可以回到一般寫程式的方式處理，他形容這是 vibe coding 的保底。
語音：一半以上的 query 是用講的
他自己大約一半的 query 是用講的，在手機上大概八成，單純因為懶得打字。app 裡有兩種東西長得很像、功能完全不同：麥克風圖示是把你的聲音轉成文字，桌機版沒有這顆按鈕，所以他用系統層級的工具，像是 SuperWhisper（也有人用 WhisperFlow 或 MacWhisper），綁一個快捷鍵，按下去講、再按一次就變成文字。產品名、library 名這種常常轉錯的字，他還是用打的。輸出端有 Read Aloud，把回答唸出來。
他把這條路叫假語音，因為中間還是文字，只是用 speech-to-text 跟 text-to-speech 兩個模型在音訊跟文字之間來回搬。真語音是把音訊本身也切成 token：把聲音畫成 spectrogram，開小視窗，把每個窗格量化成音訊 chunk，vocabulary 大概十萬個，然後直接拿這些 chunk 去訓練模型。ChatGPT 的 Advanced Voice Mode 走的是這條路，聲音在模型裡原生處理，聽的是 audio token、講出來的也是 audio token，中間沒有文字，你看到的那份逐字稿只是事後轉錄。
示範很熱鬧。它可以用 Yoda 的聲音解釋瑞利散射，換成海盜的語氣再講一次，講一個發現天空為什麼是藍的小女孩的故事，從一數到二十數得很快，被問到牛怎麼叫就 moo 了一聲。他叫它學狐狸叫，它說它無法模仿聲音，他回「你剛剛才 moo 了一聲」。他對 Advanced Voice 的評價是：很好玩，但非常拘謹、很愛拒絕，有時有點尷尬；而且他錄影那天還在 Twitter 上看到它開始開放給免費層，所以這種功能掛在哪一階會一直變動。
Grok 也有 advanced voice，只在手機 app 上，不在桌機。它有一排模式，有些真的很放飛：預設、浪漫、unhinged、陰謀論、性感。他一一玩過：浪漫模式自稱 Era，說自己一直很欣賞他；unhinged 模式一開口就開罵；陰謀論模式聊 Trudeau 是 Castro 的兒子、光明會、蜥蜴人；性感模式開始描述一個昏暗的房間。他的對比是 OpenAI 很拘謹、很常拒絕，Grok 直接去；想要娛樂的話，Grok 的 app 比較合適。
假語音之外：NotebookLM 把一份 PDF 變成 podcast
Google 的 NotebookLM 走的是另一條路。左邊放來源，可以是純文字、網頁或 PDF，進去之後會進 context window，可以針對它問答；右邊有一個 generate 按鈕，按下去等幾分鐘，它會生出一集 podcast 來聊你放進去的東西。他丟了 Arc Institute 那篇基因體 foundation model 的 PDF，得到一集大約三十分鐘的節目，內容在聊 Evo 2 跟它的訓練資料集 Open Genome 2。可以下指令調整主題、重新生成，還有一個 interactive mode，可以在節目進行的中途插話問問題。
他的用法很生活：散步、長途開車的時候，丟一些自己有被動興趣、但不會有真人 podcast 特別做一集的主題進去，變成一集為他做的節目。他也把一季叫 Histories of Mysteries 的節目放到 Spotify 上，讓人可以直接聽聽看這個工具能做出什麼品質，再決定要不要自己拿文件來玩。
圖片與影片：先讓它把看到的東西轉成文字
圖片在底層也是 token。把圖切成矩形 patch，每個 patch 拿去量化，vocabulary 大概十萬個，一張圖就變成一串 patch token。transformer 本身不知道哪些 token 是文字、哪些是音訊、哪些是圖片，它只是對 token 序列做統計建模；知道要怎麼解碼回圖片或聲音的是 encoder 跟 decoder。所以同樣的建模技術可以套在圖片上，什麼都沒有改，只是 token 的內容跟 vocabulary 換了。
他上傳圖片時有個固定習慣：先請模型把圖上的資訊轉成文字，再開始問問題。理由是只有這樣他才能確認模型真的看對了。第一個例子是 Longevity Mix 的營養標示，它先被轉成表格，他核對過數字，才請模型把成分分組、並依「大概多安全」排序，他想知道哪些是綜合維他命裡本來就有的基本成分，哪些是比較可疑、研究比較少的。第二個例子是驗血報告：檢驗單位給他一份 20 頁的 PDF，他說這東西根本沒法用，於是把 lipid panel 之類的截圖一張一張丟上去，先確認轉錄對不對，再看解讀，一路把整份問完（他說這次數字很好，他很滿意）。他也示範了 Mac 上按 Control Shift Command 4 截一塊螢幕、直接貼進 ChatGPT 的流程。這種資訊不能出錯，他的態度是：還是要跟真的醫生談，但這可以當成跟醫生對話前的草稿。
另外幾個例子：他在論文裡看到一段 tricky 的數學式，先截圖轉成文字，再問它某個值帶進 pi 是多少（他說是陷阱題，可以自己試）。他翻了翻家裡的 Colgate 牙膏，想搞清楚那一串成分各是什麼，模型轉錄、解釋，他再問哪些算安全、哪些不算，最後問：如果他只在意牙膏真正的功能，顏色那些都不要，哪些可以拿掉。模型列出了必要的功能成分跟一堆多餘的東西。他的反應很直接：這裡大部分的東西都不該在裡面，他對公司把這些東西塞進食物跟化妝品裡感到不舒服。最後是一個 meme：一群烏鴉叫 a murder，所以當一隻烏鴉靠近另一隻，就叫 attempted murder。他朋友看不懂，他把圖丟給 ChatGPT，它就解釋了這個笑話。
生成圖片那邊，OpenAI 的工具是 DALL-E 3，他示範的一張圖，他覺得像是京都的高台寺。他不是很常用，隨手做了一個：先用搜尋抓今天的新聞標題，再叫它「生成一張總結今天的圖」。他 YouTube 頻道上「Let's reproduce GPT-2」那支影片的縮圖則是用 Ideogram 做的。機制上不是模型自己在畫：ChatGPT 會先寫一段 caption，再把那段 caption 交給另一個專門生成圖片的模型。
影片輸入藏在手機版的 Advanced Voice 裡，有一個 video 圖示，按下去就能把鏡頭對著東西講話。示範裡它看到牆上的黑色吸音棉，問他是不是在測 echo，建議可以多蓋幾個角落、或換個排法；認出兩本書，Jack Weatherford 的《Genghis Khan and the Making of the Modern World》跟 Richard Feynman 的《Surely You're Joking, Mr. Feynman》；看到 Aranet 4 的 CO2 偵測器顯示 713 ppm，說這個數字一般還行，理想是壓在 800 以下，超過 1000 就要想辦法通風；牆上的 Middle-earth 地圖也認得。他猜底層其實還是一秒一張左右的圖片在餵，不是真的影片串流，但用起來很像。他自己不常用，但如果要示範給父母或祖父母看，這是他會拿出來的功能。影片生成他沒有多講，只放了一串各家模型生成「叢林裡的老虎」的比較，說 Veo 2 那時接近 state of the art，Sora 也在其中；他不在創意產業，用得不多。
Memory、custom instructions 與被存下來的 prompt
每個新對話都是空的，這是前面講過的規則，但 ChatGPT 有一個記憶庫。它是一串文字，永遠被 prepend 在所有對話前面。他示範的流程是：先問 ChatGPT「你覺得好萊塢的巔峰大概是什麼時候」，它答 1990 年代末到 2000 年代初（他很同意），接著他說「請記住這個」，畫面跳出 memory updated，記憶庫裡多了一條。這個記憶庫可以打開來看、可以編輯、新增、刪除，他很喜歡能自己動手這點。他本來不確定這個功能有沒有用，現在慢慢覺得有：ChatGPT 真的比較懂他，例如電影推薦就變好了。據他所知，記憶是 ChatGPT 獨有的功能。
Custom instructions 是全域設定。他寫的內容大意是「不要像 HR business partner，正常跟我講話」，加上盡量帶教育性、他喜歡解釋跟 insight。他也拿它來處理韓文：預設用哪一種敬語層級，不然模型有時給太隨便、有時給太正式。這種設定其他 LLM 通常也有，只是位置不同。
Custom GPT 是他比較少用、但學語言時會用的一組。第一個是韓文單字擷取器：給它一句韓文，它把單字用 dictionary form 抽出來，格式是「韓文;英文」，可以直接貼進 Anki 變成卡片。點進去看它怎麼做的，會發現沒有魔法，就是一段 instructions 加上四個具體例子，也就是 few-shot prompting；他認為給例子永遠比只描述任務準。第二個是詳細翻譯器：同一句韓文，它先整句翻成英文，再一塊一塊拆開，所以看得到那些平常會被吃掉的助詞，而且可以繼續追問。他順口抱怨 Google Translate 對韓文不好，很多人因此改用 Naver 或 Papago，但他說 ChatGPT 的翻譯強得多，懂 nuance、懂俚語，「我不知道翻譯工具現在還存在幹嘛」。第三個是把這一切串起來的應用：看《Single's Inferno》時字幕是燒在畫面裡的，他截圖丟進去，這個 custom GPT 先 OCR、再翻譯、再拆解；instructions 只是先告訴模型情境（這是 Single's Inferno 裡的一小段對話），然後照順序做。他的心得是這跟教人很像：你可以用文字解釋一個任務，但示範一次有效得多。
這是一間一直在搬家的動物園
他自己收尾時給的判斷是：ChatGPT 是第一個、是 incumbent、功能最多，但其他家在很多特定場景已經追上、甚至更好。搜尋他還是去 Perplexity，因為它做得早、模型也不錯；要快速做一個小 web app 或畫圖表，他用 Claude Artifacts；單純想講話，用 ChatGPT 的 Advanced Voice；覺得它太拘謹，就換 Grok。
要盯的東西他列了一輪：你在哪一階、用到哪一顆模型（大的知識多、寫作好、有創意，小的容易錯、容易 hallucinate）；難題先試不思考的，不行再切 thinking model；工具有沒有開（新資訊要搜尋、要圖表要 Python、要原型用 Artifacts、專業寫程式用 Cursor 加 Composer）；模態是原生處理，還是外接一個模型用文字轉接；好用的小功能（file upload、memory、instructions、GPTs）；同一家的網頁版跟手機版功能還不一樣，哪邊有什麼得自己記。
整場兩個多小時裡，他每次講完「這東西很強」，後面幾乎都接著一個自己動手的動作：咖啡因去查原始資料、Nyquil 成分把藥盒拿出來對、搜尋一定點開引用、deep research 只當草稿、估值外推抓到程式默默補值又報錯數字、驗血報告先對轉錄。價格、哪顆模型有搜尋、哪些功能在免費層，這些都會在他講完之後繼續變動。他沒有要你少用，他只是示範自己怎麼用：一個很快、很博學、偶爾會唬你的協作者，而你要負責最後那一眼。