開發 ContextOS：專為長週期 LLM 代理設計的開源 Token 預算感知上下文協調層

開源展示支援 Token 預算意識的上下文編排層（ContextOS），針對長視野 agent 進行混合檢索與執行追蹤。

• 針對長期執行的大型語言模型任務，推出全新的開源 ContextOS 上下文協調層。 • 核心理念在於區分檢索與上下文選擇是兩個截然不同的問題，避免無關資訊佔用資源。 • 結合 dense 稠密檢索與 BM25 進行混合檢索，並透過 RRF 融合與 cross-encoder 重排確保品質。 • 採用確定性 Token 預算感知規劃，精準控制進入模型上下文的記憶內容與成本。 • 完整記錄每次決策的執行追蹤，方便開發者隨時檢查記憶被選取或拒絕的原因與各階段排名。 • 內建評估工具與互動式展示，視覺化呈現整個處理管線的運作過程。

作者表示：「檢索與上下文選擇是不同的問題，ContextOS 旨在決定哪些記憶真正進入模型的上下文。」