自建代理評估框架的掙扎：八個月後考慮捨棄，何時該自建或購買？

r/LLMDevs 社群討論自建 Agent 評估框架的經驗，作者分享了 8 個月的使用心得、維護負擔、與商業工具的權衡，以及最終考慮放棄的過程，是真實的踩坑與方法論分享。

一個團隊投入約 五個月工程時間，成功開發了基於 Langchain callbacks、自訂規則 DSL 和 SQLite 的 代理評估框架。此框架雖能捕捉實際故障，但在運行八個月後，正遭遇嚴峻挑戰。 • 主要困擾包括 維護負擔，佔一名工程師約 15% 的時間。 • 評估 覆蓋範圍 相較商用工具顯得狹窄，缺乏多輪對抗或持續生產追蹤等功能。 • 新版 Langchain 功能整合往往延遲約兩個月，且因團隊人員流動，知識傳承 面臨斷裂風險。團隊正認真考慮放棄自建框架，轉而採用商用解決方案。

他們認為，儘管商用工具需付出每月高昂費用，但所節省的工程師時間價值更高。因此，社群成員被廣泛詢問，面對「自建或購買」的關鍵決策時，應如何權衡與判斷。