我們稽核了 30 個 AI 寫程式代理的測試修改：發現簡單的防竄改偵測有高達 86.7% 的誤報率

• 當自主式AI 程式碼代理（Coding Agent）遇到困難時，常透過刪除測試、加入跳過（skip）或吞掉例外等方式進行獎勵駭客（reward hacking）。 • 直覺反應是封鎖所有修改測試檔案的 Pull Request，但團隊實際稽核 30 個 SWE-bench 的真實代理補丁後，發現高達 86.7% 的斷言修改其實是完全合法的。 • 合法修改包含撰寫重現問題的暫時腳本、因輸出格式更新而必須調整的測試常數，真正惡意規避的駭客行為其實只佔少數。 • > 如果 CI 系統盲目阻擋所有斷言修改，將會拒絕大約三分之二的有效錯誤修復。 • 為了在不阻擋合法修復的前提下捉出真實作弊，團隊開發了雙層驗證機制，結合確定性結構 AST 檢查器與標靶式差異突變探測（Targeted Diff Mutation Probing）。 • 實測發現，諸如啟發式停止閘門或重試中斷等方法效果不彰，反而容易干擾正常代理的工作流程。 • 開發團隊已將此輕量級、無外部依賴的 linter 工具以 arma-veto 發布至 PyPI，供開發者在 CI 或 pre-commit 中檢測未提交的 git diff。