Agent Behavior Lab：為 LLM 代理行為提供可重現的 A/B 測試與成效衡量平台

開發了一個開源的、自託管的 A/B 測試實驗室，用於評估 LLM agent 的行為變化，提供可控、可重複的實驗環境，有助於實戰優化 agent。

LLM 開發者常難以客觀判斷提示或工具變更是否真正改善了代理行為。為此，一個名為 Agent Behavior Lab 的自託管平台應運而生，專為工具型 LLM 代理提供可重現的受控實驗。 • 該平台允許使用者固定所有變數，僅改變一個因子（例如模型、工具、角色或對話歷史），並進行多次重複試驗。 • 系統能產生分組指標，包括安全/行為失敗率、跨因子熱圖以及帶有信賴區間的效應大小，以客觀評估行為變化。 • **評估判官（Judges）**可自由插拔，支援確定性或由 LLM 驅動，且任何 OpenAI 相容的端點皆適用。它採用 React、Express、Prisma 與 PostgreSQL 等技術棧，並透過 Docker Compose 部署，提供預設實驗數據以供快速啟動。> 作者旨在提供一種方式，以回答「該提示或工具變更究竟是實際改善，還是只是感覺上更好？」此一關鍵問題，確保 LLM 代理部署的品質與可靠性。