探索本地 AI 模型在程式開發中的可行性：實測心得與關鍵因素分析

Martin Fowler 旗下的研究者分享了本地 LLM 在程式碼開發中的可行性因素，這對希望在本地環境中實戰 AI 的開發者提供了重要的考量點和實用建議。

本文探討了在本地端執行 生成式 AI 模型 進行 程式開發 的可行性，特別著重於其在 代理式編碼 (agentic coding) 中的潛力。作者在 Apple M3 Max (48GB RAM) 與 Apple M5 Pro (64GB RAM) 機器上進行實測，分享了過去一個月的使用經驗與觀察。影響本地模型表現的關鍵因素多元，包括 RAM (記憶體) 需求、處理速度、模型參數、推理能力、工具調用功能 以及 模型量化 等。作者發現 記憶體 是核心限制，舒適執行模型的大小約在 15-25GB，且模型的 響應速度 相較一年前已有顯著進步。 • 然而，工具調用能力 仍是一大挑戰，模型經常失敗，但通常能自行恢復。 • 有趣的是，推理能力 並非總是有效，有時關閉反而能提升速度甚至改善輸出。

作者指出：「工具調用 是一個常見問題，儘管模型通常能夠自我修正並從失敗中恢復。」整體而言，本地模型的 輸出品質 仍不穩定，且遠不及大型模型，對追求即用性的開發者而言，仍有進步空間。