Weaviate 1.39 推出 4-bit 旋轉量化(RQ4):在維持高效召回率的同時大幅降低記憶體開銷
Weaviate 1.39 引入 4 位元旋轉量化的 SIMD 效能優化與分析。
Weaviate 在最新 1.39 版本中正式推出 4-bit 旋轉量化(RQ4),並對整體量化管線進行了全面升級,實現更高效能與更低記憶體的向量檢索。 • 透過 SIMD 優化 與 快速沃爾什-哈達瑪轉換(FWHT),大幅提升向量編碼與距離計算的速度。 • 引入 預取機制(Prefetching),有效解決 HNSW 圖索引中記憶體頻寬不足的瓶頸,顯著提升查詢吞吐量與匯入效能。 • 針對具備非零均值的嵌入模型支援 中心化(Centering)與極端座標儲存,在多個資料集上顯著提升 Recall@10 召回率。 • 在 1M 至 250M 規模的資料集測試中,證明 RQ4 的召回率表現具備良好的規模不變性(Scale-free)。
「8-bit RQ 在 1.39 版本中速度顯著加快,而 4-bit RQ 則能在減少 45% Heap 記憶體消耗的同時,提供相近的召回率。」 • 與 TurboQuant 的對比顯示,經過中心化與標準化後的 RQ 在各類資料集上皆展現出更穩定且優異的效能表現。
來源:Weaviate Blog
閱讀原文 ↗