LLM 代理程式的回歸測試盲點：如何測試「決策」而非僅僅是「模型輸出」？

• 在升級 AI 模型時，表面的文字流暢度與對話品質往往會掩蓋深層的行為退化。 • 作者指出，舊版本會主動向用戶釐清資訊，而新版本卻擅自瞎猜，這證明瞭傳統的字面快照測試對非決定性代理程式幾乎毫無用處。 • 測試核心應該轉向決策級別的不變量，例如確認身分、權限檢查、失敗處理以及確保最終後端狀態正確。 • 具體作法包括：凍結情境並多次執行、使用確定性斷言檢查硬性規則，以及透過評估器來評估語氣與關聯性等模糊指標。 • 自動化工具如 TestMu Agent Testing 可以協助生成情境並評分，但無法判斷行為改變是模型退化還是產品策略的刻意調整。

如果預期行為沒有被妥善版本化，測試套件最終只會變成無人知曉原因的「考古遺址」。 • 因此，開發團隊應該像維護 API 契約一樣，將決策層級的預期行為進行版本控制。