AI 代理的記憶幻象：Context 即 State，每次全量重渲染的代價與管理之道

作者深入解釋了 LLM 沒有記憶，Context 就是 State，且每次全量重渲染的原理，並分享了如何透過 React 的 diff/memo/Fiber 來優化，這是一個關於 AI Agent 實現原理的深度解析和實戰優化方法。

• AI 代理（Agent） 的「記憶」並非來自模型本身，而是客戶端在每次呼叫 大型語言模型（LLM） 時，將所有歷史對話作為 Context 一併傳入 所造成的幻象。 • > 作者指出：「Context 是 state，agent 每一輪跑一次『全量重渲染』——只是 React 有 diff 幫你剪，agent 沒有，全量是真的全量。」 • 每次 API 呼叫都是無狀態的 HTTP 請求，即便透過 session_id 儲存對話，也僅是將 messages 陣列 從客戶端移至伺服器，模型接收到的上下文依然是完整且重複的。 • 這種 全量重放 帶來三大隱性成本：Token 費用、請求延遲 及 智能混亂，其中後者會導致模型出現 「中段遺失（lost in the middle）」 現象，長 Context 反而使模型更為遲鈍且昂貴。 • 為此，文章提出三種主要 Context 管理策略：壓縮（Compression） 舊對話、對系統提示等穩定內容進行 提示詞快取（Prompt Caching），以及採用 結構化 Context 讓模型更好抓取重點。 • 最終的「元招」是：不將所有內容塞入 Context，而是透過 檢索增強生成（RAG） 等方式在需要時才調用，這是解決超大知識庫問題的根本之道。