Qwen 27B 本地實測：96GB VRAM 系統上的高效能、高連貫性模型

使用者分享 Qwen 27b 在本地運行時的效能數據，並強調其與 API 整合能力及程式碼生成能力，是具體的實戰經驗分享。

文章分享了 Qwen 27B 模型在本地系統上的運行數據與使用心得。該模型在具備 96GB VRAM 的 4090+3090 系統上，以 q6kxl 量化和多令牌預測模式運行，展現了卓越效能。 • 解碼速度可達每秒 50-90 個令牌。 • 預填充速度則高達每秒 1500-2200 個令牌。 Qwen 27B 不僅能可靠地與各類 API 介接，還能生成功能正常的程式碼，涵蓋單頁應用程式、LaTeX 文件、解析器和網路爬蟲等。尤其重要的是，它能可靠地攝取中等規模的程式碼庫並維持現有架構進行更新。

作者強調：「這是我在 96GB VRAM 系統上使用過的第一個本地模型，它不僅能可靠地保持連貫性、速度，而且沒有讓我深陷在調校工具、技能和框架等額外任務中。」整體而言，這是一個在本地運行環境中表現出乎意料，且無需大量額外工作的高效能、高連貫性大型語言模型。