開發者遭 Google API 突發 156 加幣帳單襲擊，自製具備緊急中斷機制的評估工具 CostEval

開發者在獨立製作 iOS App 時，因串接付費 API 遭到無預警的高額帳單衝擊，因此動手打造了 CostEval 評估框架。

• 現有框架多半只關注 LLM Token 成本，忽略了外部付費 API 帶來的隱藏開銷。 • 內建 事前成本預估 與執行中的 緊急中斷機制（Kill Switch），防止預算失控。 • 採用 記錄與回放（Record & Replay） 功能，僅針對非 LLM 的付費呼叫進行快取，讓 CI 測試與重跑成本歸零。 • 保持 模型保持在線、僅重播查詢結果的設計，避免因鎖定模型輸出而掩蓋系統錯誤。 • 支援 預期失敗（Expected to Fail） 標記，若邊界案例意外通過會觸發警告，防止系統過度承諾。 • 提供 細粒度的檢查報告，避免單一總分掩蓋真實的效能問題。

「如果你的唯一成本只有模型 Token，用 Promptfoo 更好；但如果有外部付費 API，你就需要能控制實際花費的工具。」