破除 KV 快取暴政：基於 Jev 決策模型的 Coding Agent 架構藍圖

目前的 Coding Agent 陷入了只增不減的聊天記錄與臃腫 Prompt 困境，造成模型路由更貴、工具混亂與上下文壓縮失效。 • 經過成本算帳發現，傳統的混合路由因重新載入成本反而比全程使用前沿模型更貴，關鍵突破口在於改變 KV 快取 的依賴。 • 文章提出基於專用決策模型 Jev 的全新架構，將上下文從被動累積轉為由狀態與類型化語塊組成的精密動態裝配。 • 實測數據顯示，程式碼編寫僅佔極少數消耗，高達 60% 的 Token 耗費在檔案讀取與程式碼檢索上，優化檢索才是效能關鍵。 • 透過 可程式化權限引擎、漸進式工具披露 與 四級可見性階梯，系統能根據查詢意圖動態裁剪資訊，無需全量暴露 Schema。 • Jev 框架能安全管理子任務分流與唯讀後台管線，有效解決多智能體並行的狀態混亂問題。

如果語言模型沒有 KV Cache，你會如何重新設計編碼智能體？這項思想實驗揭示了重塑 Agent 底層架構的必要性。