當 AI 程式碼代理修改自身運行環境時，如何確保評分機制的獨立性？

• 當 AI 程式碼代理 開始自行改寫提示詞、規則或工具時，基準測試的分數將變得難以客觀解讀。 • 如果代理同時改變了任務與通過標準，我們很難判斷效能提升究竟來自行為改善，還是評分邏輯遭到竄改。 • 為了確保比較基準的公平性，新舊版本的程式碼代理必須面對完全相同的 任務與評分邏輯。 • 工具 Reef 透過攔截代理與模型端點間的互動，並導入嚴謹的對照與評估流程來解決此一痛點。 • 在預設的比較機制下，候選版本必須在測試中勝出，才能被發布為正式的版本。

保持評分組件脫離候選版本的寫入權限，是確保評測結果真實有效的關鍵所在。