macOS 本地程式碼代理：透過 llama.cpp 整合 Gemma 4 與 MTP 實現多模態 AI 編程

Hacker News 連結了一篇關於如何在 macOS 上設置本地 coding agent 的教學。這提供了具體的設置步驟和方法，對想在本地運行 agent 的開發者非常有幫助。

作者為避免網路中斷導致開發中斷，在 macOS 上成功建置了一個快速、可透過 OpenAI 相容 API 存取，並能處理圖片的本地程式碼代理。 • 主要採用 llama.cpp 結合 Metal 加速來運行 Gemma 4 26B-A4B 模型，並以 Pi 作為終端代理。 • 為大幅提升效能，整合了 MTP（多令牌預測）解碼，使文字生成速度提升約 24%，且經測試 llama.cpp 搭配 MTP 的表現優於 MLX 框架。 • 透過載入 Gemma 4 多模態投影器，此代理具備處理螢幕截圖等多模態輸入的能力。 • 文中提供了詳細的設定指南，包括 llama.cpp 的安裝、主模型、MTP 草稿模型及多模態投影器的下載，以及啟動相容於 OpenAI API 的本地伺服器。

作者在 Apple M1 Max 上實現了一個「速度足夠實用」且具備豐富功能的本地 AI 編程助手。