你的 AI 不笨,只是什麼都不知道:為什麼控制 Context 重要

TL;DR

AI 沒有記憶,Context 就是它能看到的全部。給對 Context,它就聰明;給錯,它就像失憶。掌控 Context,是用好 AI 的關鍵。


這兩年大家多少都用過 AI 聊天工具,不管是 ChatGPT、Claude,還是公司導入的 AI 助理。你可能發現一件很矛盾的事:它明明很聰明,卻常常做出很笨的事。

比如說,明明一開始跟它說好規則,聊一聊它就忘了;或是你跟它講過的背景,下次好像又得重講一次。

就算是 2025 年主流的強大模型(像 GPT-5、Claude 4.5、Gemini 3),也都有這個現象。在理解為什麼會這樣之前,我們要先了解語言模型是怎麼和我們互動的。


Context:每次對話的起點與邊界

不論哪種語言模型,在它們訓練好後,它們的能力和知識就已經被固定下來了。而使用者在與語言模型對話的內容,這些不是一開始就被訓練進模型的內容,我們稱作 Context

先用一句話解釋:Context 就是這次對話中,AI 眼前能看到的所有文字。

這包括:

  • 你跟它的聊天紀錄
  • 系統設定(System Prompt,你看不到的、設定 AI 角色的隱藏指令,例如平台偷偷告訴它「你是一個有禮貌的助理」)
  • 你貼給它的任何資料

這些全部加起來,就是 Context。

想像你請了一個很聰明但完全不認識你的新員工。每次交辦任務,你都要重新告訴他公司背景、專案狀況、你的偏好。Context 就是你交給他的那份 briefing —— 沒有這份資料,再聰明的人也不知道該怎麼幫你。

而在目前的技術下,每種語言模型的 Context 容量都是有限的,有的大,有的小,簡單說就是「它一次能看多少字」也有上限。 理論上我們每次開一個新對話,模型是不會記得你之前跟它講過什麼的。每次對話的模型都像一張白紙,每次都是全新的開始。


為什麼對話越長,AI 越笨?

這不是錯覺。

你可以把 AI 想成一個幫你做事的實習生:你口頭交代他做 20 個步驟,中間只要有幾步聽錯,最後成果就會歪掉。AI 也一樣。

有研究實際測試過:AI 在處理任務時,每一步都有一定的錯誤機率。假設每個動作有 5% 的錯誤率,聽起來很低對吧?但問題是這些錯誤會累積:

對話輪數 成功率
5 輪 77.4%
10 輪 59.9%
20 輪 35.8%
50 輪 7.7%

步驟越多,累積起來就越容易歪樓。這還沒算上 Context 容量塞滿後,模型開始「遺忘」早期內容的問題。

需要說明的是,這主要發生在複雜的連續任務上。如果只是閒聊,錯了你可能也沒感覺。但如果是寫程式、做分析、或是邏輯推理,一步錯就容易全盤皆輸。

這就是為什麼你會發現:剛開始對話時 AI 很聰明,聊了一兩個小時後,它好像變笨了。不是它真的變笨,是 Context 變得太長、太雜,錯誤開始累積。


那些平台怎麼讓 AI「記得」你?

你在 ChatGPT 或 Claude 上可能會覺得:「AI 好像記得我之前說過什麼」。

但實際上,模型本身是完全沒有長期記憶的——像金魚腦一樣,每次對話都是從零開始。

那為什麼感覺它記得你?因為平台在背後幫它「帶小抄」:

  1. 摘要歷史:平台把你之前的對話整理成摘要,塞進新對話的開頭
  2. 動態搜尋:當你問問題時,平台偷偷去翻你的舊資料,把找到的內容一起丟給模型看

所以真相是:AI 不是真的記得你,而是每次都在看一份「精簡過的你和它的歷史」。

這個「記憶」是假象,但也是很聰明的設計。只是你要知道,這些「記憶」也佔用 Context 的空間。


為什麼控制 Context 是一切的關鍵

當我們了解 Context 是什麼後,大家會逐漸發現,依照語言模型的特性,如何精準掌握 Context 變得攸關重要。

因為在語言模型的演算法特性中,Context 跟任務的相關性越高,產出的品質越好;越低則越差。所以如果我們要讓 AI 發揮能力,關鍵就在於:怎麼提供高品質的 Context。

Anthropic(Claude 的開發公司)在 2025 年提出了一個觀點:我們應該從「Prompt Engineering」轉向「Context Engineering」。

差別在哪?

  • 舊思維(Prompt Engineering):「我該怎麼表達這個指令?」
  • 新思維(Context Engineering):「什麼樣的 Context 配置,最有可能讓模型產出我要的結果?」

用做菜來比喻:

  • 過去的做法是:「我教你一步一步怎麼做菜。」
  • 新的做法是:「我把所有食材和口味偏好告訴你,讓你自己決定怎麼煮最好吃。」

這個轉變很重要。過去我們專注在怎麼「問」,現在更重要的是怎麼「給資訊」。


怎樣算是好的 Context?

Anthropic 給了一個很精準的定義:找到最小但最相關的資訊組合,來達到最好的結果。

翻譯成白話就是:給的資訊要精準、相關、沒有廢話。

Context 不是越多越好。塞太多不相關的東西,反而會讓模型分心、迷失在雜訊中。就像你交辦任務給員工時,如果 briefing 裡面塞了一堆不相關的公司歷史、去年的專案紀錄、其他部門的八卦,他反而會搞不清楚重點在哪。

好的 Context 應該:

  • 和當前任務高度相關
  • 沒有多餘的雜訊
  • 包含完成任務所需的關鍵資訊
  • 結構清晰,讓模型容易理解

實際例子:同樣的問題,不同的 Context

舉個例子:

沒給 Context:

「幫我寫一封信」
→ AI 給你一封普通的制式信,什麼都沒針對。

給了基本 Context:

「幫我寫一封信給合作三年的客戶,對方最近剛換主管,語氣要正式但親切」
→ 結果完全不一樣,至少有針對性了。

給了完整 Context:

除了上面那些,你還提供:

  • 客戶的基本資料
  • 過去和客戶來往的 email
  • 這次寫信的目的和背景
  • 你們公司和對方的合作歷史

→ AI 產出的品質再上一個層次。

差別在哪?就是 Context 的質量。

如果你不想那麼麻煩,至少記住一個懶人公式:

對象是誰 + 目的是什麼 + 語氣怎麼拿捏

只要把這三件事講清楚,AI 產出的東西就會比一句「幫我寫一封信」好很多。


從「教 AI 怎麼做」到「給 AI 足夠的資訊」

前面提到,我們正從「Prompt Engineering」走向「Context Engineering」。用另一個角度來看,就是:從「教 AI 怎麼做」,變成「給 AI 足夠的資訊讓它自己決定怎麼做」。

過去在語言模型能力不足的情況下,我們給的 prompt 大多是指導 AI 該怎麼做、要遵守哪些步驟。那時候的 AI 比較像是需要詳細指令的新手。

而現在語言模型的智力和能力上來後,情況不一樣了。2025 年的模型已經夠聰明,它們知道怎麼做事。我們更多的是在提供語言模型足夠的相關內容,並藉由它的能力進行好的產出。

在 Anthropic 自己內部,他們觀察到一件有趣的事:一年之內,工程師使用 AI 的比例從 28% 漲到 59%,而且自評「產能變高了」的人也大幅增加。真正改變他們工作的,不是模型又升級了多少,而是大家越來越知道要怎麼餵對 Context。


結語

理解 Context,是跟 AI 協作的第一步。

當你知道 AI 的世界只有 Context,你就會開始思考:我該怎麼把對的資訊放進去?怎麼讓它看到它需要看到的東西?怎麼避免塞太多雜訊讓它分心?

下次你覺得 AI 變笨時,可以記一個簡單的心法:

先想「我要給什麼資訊」,再想「我要下什麼指令」。

先不要急著想「我要下什麼指令」,而是問自己:「如果這是一個新人來幫我,我會把哪些背景、資料、限制條件告訴他?」把這些寫進去,就是在做 Context Engineering。

後續我們會用不同篇幅來描述具體上我們要怎麼好好地控制 Context,而這項技術就叫做 Context Engineering