GLM-5.2 模型現已支援 `llama.cpp` 本地運行：體積縮減 84% 仍保有 82% 精確度，稱霸開源模型

r/LocalLLaMA 介紹 GLM-5.2 可在 llama.cpp 和 Unsloth Studio 本地運行，並提供不同量化版本，對於想在本地部署強大模型的用戶非常實用。

• GLM-5.2 模型 現已能在 llama.cpp 和 Unsloth Studio 中進行本地化運行，為廣大用戶提供更便利的部署選項。 • 這項創新使得模型能充分利用本地硬體資源，大幅提升運行的效率與便捷性。 • 其中一個 2 位元模型 版本展現了驚人的效能：其尺寸從 1.51TB 劇烈縮減至 238GB（尺寸減少 84%），卻仍能維持約 82% 的精確度。 • 這項最佳化讓 GLM-5.2 得以在僅配備 256GB RAM 的 Mac 電腦或其他類似記憶體/顯存配置的系統上流暢運行。 • > 根據開發團隊的說法，GLM-5.2 是迄今為止市場上 最強大的開源模型。 • 詳細的 GLM-5.2-GGUF 量化 版本與其精確度圖表已發布，供使用者查閱。 • 用戶可透過提供的完整指南和 GGUF 連結，輕鬆開始本地化部署與應用。