利用 LLM 當作裁判來評分，精準衡量你的軟體工廠效能

Warp 官方探討如何透過 LLM-as-a-judge 衡量軟體工廠中 coding agent 的表現，具備系統性方法論價值。

隨著組織加速導入程式碼生成代理，停止盲目猜測其效能並建立量化評估機制已成當務之急。除了傳統的 DORA 指標外，直接透過 LLM-as-a-judge（LLM作裁判） 來為代理的歷史執行紀錄進行評分，是掌握 AI 表現的核心關鍵。

• 建立完整的代理執行軌跡記錄，涵蓋所有輸入提示詞、工具呼叫與輸出成品。 • 依據任務合規性、執行效率、冗長程度與程式碼品質等維度，自定義專屬的評分代理。 • 設定合理的採樣策略來平衡評分成本與可見度，並透過自動化排程定期檢視歷史任務。 • 結合**自我改善（self-improvement）**迴圈，讓觀察者代理自動分析評分結果並提出優化建議。

如果你目前沒有為程式碼生成代理進行評分，你將錯失深入了解其效能表現以及如何改進的關鍵可視性層級。