如何 24/7 即時運行 22 個 AI 代理而不破產:成本優化實戰經驗與數據分享

詳細公開運行 22 個 24/7 不間斷 AI 模擬居民的真實成本數據,分享「習慣優先、顯著性閘道」的極致省錢架構。

• 建立了一個包含 22 個持續運作的 AI 代理 虛擬島嶼,透過獨特架構實現全天候即時互動而不造成高額 API 費用。 • 採用 習慣優先(Habit-first) 原則,將日常行動作為程式碼處理,僅有少數情況才觸發模型呼叫以節省資源。 • 導入 顯著性閘門(Salience gate) 機制,依據感知事件的重要程度動態評估,低於閾值則維持常規。 • 建立模型分級階梯,從日常的 Claude 3.5 Haiku 到高風險決策或付費使用者的 Claude 3 Opus,確保效能與成本平衡。 • 善用 API 快取(Caching) 技術,將世界規則與角色設定作為共用字首快取,大幅降低每次呼叫的新增 Token 成本。 • 嚴格規範 結構化輸出 並實作請求逾時控制(AbortSignal),解決多模型協作可能遇到的卡死問題。

作者強調:所有程式碼與提示詞皆已開源於 GitHub,並支援無金鑰的模擬大腦運行模式。


來源:r/LLMDevs

閱讀原文 ↗
← 回首頁