KiloBench：基準分數難抵帳單，AI 模型實戰應考量成本效益與特定框架效能

KiloBench 質疑了僅僅依賴基準測試分數的評估方式，強調了在實際產品環境中的有效性。這對於評估 AI 模型和工具的實戰價值提供了重要的視角。

本文指出，當前的 AI 基準測試 (benchmarks) 已逐漸飽和，且無法有效反映模型在實際生產環境中的成本效益。諸如 SWE-bench 等評測面臨數據污染 (contamination) 和腳手架膨脹 (scaffold inflation) 等問題，導致分數失真，且未能考量模型與特定代理框架的互動。此外，模型的「標價」極具誤導性，實際運行時因隱藏的推論代幣 (reasoning tokens) 和代理循環 (agent loop) 中重複傳輸上下文，使真實成本遠超預期。為解決此問題，KiloBench 應運而生，旨在透過 Kilo 特定的代理框架，使用真實世界的終端任務來測量模型的實際表現和成本。

KiloBench 的關鍵指標包括： • 每次嘗試的成本 (Cost per attempt) • 完成任務的總成本 (Cost to complete) • 特定框架的通過率 (Harness-specific pass rate) • 行為指紋 (Behavioral fingerprints)

MorphLLM 指出：「模型在特定代理框架下的性能表現至關重要，通用基準測試無法提供此類關鍵洞察。」因此，在選擇生產模型時，真正有價值的資訊應是模型在特定框架下每項任務的成本及其實際任務解決能力，而非表面的基準分數。