將大語言模型上下文從 100KB 縮減至 2KB 以下：為什麼「過期狀態」比雜訊更危險

獨立開發者分享將上下文從 100KB 縮減至 2KB 反而提升穩定度的踩坑經驗與 superseded state 核心省思，極具實戰價值。

• 作者在長期運行的無狀態 AI 專案中發現，盲目堆疊上下文至 100KB 會導致嚴重的一致性崩潰與決策反覆。 • 根本問題不在於 token 數量上限或成本，而是記錄了所有歷史決策的日誌變成了矛盾狀態，讓模型無所適從。 • 經過實驗證實，摘要或壓縮無法解決矛盾，反而會將不同的觀點平均化，產生更多雜訊。 • 作者改用精簡至 2KB 以下的三種組件：身份設定、嚴格去重的帳本，以及覆寫式的當前狀態。 • > 「我沒有給模型記憶，我給它的是一份吵架記錄，而且沒有標明誰贏了。」 • 實驗顯示，在維持行為一致性上，精準的指令與規則遠勝過堆疊過時的歷史證據。