LLM Agent 預算耗盡：如何追蹤重複失敗的 Token 消耗迴圈與停損策略

在生產環境中運行 LLM Agent 時，常見的失敗模式並非穩定的成本支出，而是代理程式 重複嘗試相同的失敗動作，不斷地重新規劃，直到預算耗盡。 • 雖然 全局花費上限 (global spend cap) 能有效止血，但它無法揭示究竟是哪一個流程分支或迴圈「燒掉」了大量 Token。 文章發起者因此尋求解決方案，以找出在代理程式運行錯誤後，究竟是哪個部分消耗了預算。 核心問題圍繞著兩個關鍵策略： • 是否應執行 單次呼叫或單一工具的成本歸因，還是僅進行事後分析？ • 停止代理程式執行的標準是設定 硬性預算上限、無進度進展，抑或是兩者兼顧？ 作者的目標是「> 嘗試找出實際有效的方法，而非僅僅聽起來不錯的方案」。 這次討論旨在探索在嚴肅運行 Agent 應用時，如何有效追蹤成本浪費並實施務實的停損機制。