开发者機器上本地 AI 模型的編碼實戰經驗：可行性與挑戰

分享了本地 LLM 在編碼方面的實戰經驗，比較了不同模型的表現，並嘗試了最適合日常使用的模型。這直接關乎開發者的實作選擇和效率。

本文分享了在開發者機器上使用小型 本地 AI 模型 進行 代理式編碼 的實戰經驗。作者建立了一個「可行性漏斗」來系統評估模型，包括記憶體需求、運行速度、工具呼叫能力、程式碼功能正確性及上下文處理。評估過程分三階段進行： • 手動評估 探索使用者體驗 • 自動化評估 獲取更多數據 • 嘗試將有潛力的模型整合至 日常工作流程 作者發現，選定的 JavaScript/Typescript 編碼任務 對結果影響巨大，考驗模型的推理與多檔案處理能力。實測結果顯示，儘管某些模型能在特定任務上實現功能，但常遭遇崩潰、速度緩慢、上下文理解 限制或與預期不符等問題，且 自動化評估 與手動體驗的結果可能存在差異。

作者總結：「任務的選擇最終是決定小型本地運行模型可行性的最大因素之一，一切都關乎預期。」