解密 Uber AI 軟體工廠：用量暴增 9.4 倍卻能維持成本不變的工程實踐

Tony Bai 深度拆解 Uber 內部 AI 軟體工廠實踐：在 Coding Agent 用量暴漲 9.4 倍下透過六變數方程式與 Prompt Cache 策略將總成本控制不變的頂級工程分享

Uber 最新工程實踐顯示，在 AI 智能體用量暴增的同時，總成本卻能透過系統化工程優化保持平穩。這套成本方程式將總花費拆解為六個獨立變數，並透過精準的模型選型與架構調整來消除浪費。

• 四層架構與模型選型：依據場景複雜度分層，並以真實工作負載建立 benchmark，持續尋找 Pareto 最優解。 • 解決 MCP 工具隱形成本：將預載工具 schema 的模式改為 CLI 化調用與按需 Tool Search，大幅降低 Token 消耗。 • Code-Mode 腳本化執行：將多輪輪询與狀態查詢打包在子進程執行，減少模型重複參與，單次查詢可省 50% 至 100% Token。 • AI Context Graph 知識圖譜：整合內外部系統數據，將探索式任務的耗時從 20 分鐘壓縮至 38 秒。 • 可見性與文化激勵：透過即時成本計數器與會話分析儀表盤自動識別 16 類浪費模式，讓工程師自主參與優化。

AI 程式碼編寫開銷的失控本質上是個工程問題，關鍵在於系統性消滅零價值的 Token 消耗，而非一味砍掉工具或追求單價降低。