本地大型語言模型已今非昔比：開發者實測驚豔成果

Vicki Boykis 分享了在 Mac 上運行本地模型的實際經驗，並列舉了 Mistral 7B、Gemma 3 等模型，強調了本地模型現在的可用性。文章提供了真實的使用心得和模型評估，非常符合使用者對實作技巧的需求。

過去一年來，本地大型語言模型 (LLMs) 的表現已顯著提升，作者從其發布之初即開始使用，現在發現它們已達「令人驚訝的好」的程度。早期的模型速度慢、難以使用且準確度不足，但自從 GPT-OSS 發布後，情況大為改觀，作者對其精度的疑慮大幅降低。如今，作者在個人 M2 Mac 上利用 Gemma 4 系列 模型，已能實現 代理式編程 (agentic coding)，其效能可達前沿模型的約 75% 準確度與速度。> 作者多將本地模型用於快速回答開發問題、重構 Python 腳本、撰寫單元測試及部落格文章校對等任務，將其視為快速、個人化的開發版 Google。為實踐這些應用，作者結合 Pi 作為代理程式框架，LM Studio 作為推理伺服器，並透過 Docker 容器隔離執行環境，確保安全性與配置彈性。這些本地模型還提供極佳的 內省能力 (introspection)，使用者可即時監看 token 推理過程、調整上下文視窗或系統提示，深入理解模型運作。雖然仍面臨推理速度可能較慢、上下文視窗受限於硬體，且生態系統尚在發展初期等挑戰，作者認為其尚未完全準備好用於生產環境。儘管如此，本地模型帶來的自由度與實驗潛力使其成為一個關鍵的投資領域，鼓勵開發者親自嘗試。