bitgpu：WebGPU 驅動，1.7B 至 27B 1-bit LLM 在瀏覽器中全速運行，免安裝，數據不離機

bitgpu 是一個創新的 零依賴性 WebGPU 運行時，專為在瀏覽器中運行 1-bit (二進位權重) 大型語言模型 (LLM) 而設計。它能讓使用者直接在網路瀏覽器中執行從 1.7B 到 27B 不同規模的 LLM，完全無需任何安裝步驟。 • 該專案的核心理念是確保 數據隱私與安全性，因為所有運算皆在 本地 GPU 上 進行，資訊絕不離開使用者機器。 • 目前支援的模型包括 PrismML 的 Bonsai 系列 (1.7B/4B/8B)，以及一個 27B 的 Qwen3.5 風格混合模型。 • 模型權重僅需從 Hugging Face 串流載入一次，之後便可在本地環境高效運行。

作者表示：「我很樂意得到您的回饋。」他同時也鼓勵使用者分享其硬體設定與選定模型的 每秒 token 數 (tok/s)，以幫助他評估在不同系統上的表現並進行優化。