LLM 開發一年心得：我對 AI 代理的觀點徹底改變了

作者反思一年來建構 LLM 產品的經驗，從原先對全自動 Agent 的看法轉變為更務實的設計原則，包含窄範圍、明確標準、盡量少用循環、結構化輸出、人類批准等，是非常高價值的實戰經驗與方法論分享。

作者起初深信 全自動 AI 代理 將主導未來產品開發。然而，經過一年利用 大型語言模型 (LLM) 建構與測試工作流程的經驗，他得出了幾乎相反的結論。他發現最有效的系統通常是： • 範圍極窄 • 成功標準明確 • 盡量減少代理循環 • 依賴結構化輸出 • 在關鍵步驟納入人為審批 相反地，許多看似驚豔的「全自動」代理實驗，在實際生產環境中卻變得 昂貴、不可預測且難以維護。

作者驚訝地指出：「一個包含檢索、單次 LLM 呼叫、驗證層，以及信心不足時進行人為審查的簡單工作流程，其表現往往優於複雜的代理架構。」他好奇其他開發者是否有類似的實踐經驗，並想了解他們在生產環境中實際部署過最複雜的代理系統為何。