Mixture-of-Kittens：Cursor 針對 NVL72 推出的開源 MoE 超級核心

開源 MoE 訓練 megakernel 的技術釋出，對底層高效能運算與硬體加速有實際幫助。

• Cursor 正式開源 Mixture-of-Kittens (MoK)，這是一款專為 NVL72 架構打造的確定性 MoE 訓練超級核心。 • 該核心將所有的 MoE 通訊與計算融合 至單一 Kernel 中，成功解決了代理編碼模型訓練中的效能瓶頸。 • 針對 GB300 NVL72 叢集設計，MoK 透過重新設計底層架構，大幅降低了 CPU 與 GPU 同步開銷。 • 採用創新的 Pull-based 調度機制 與環形權杖緩衝區，完美平衡多節點間的運算負載。 • 實際在生產環境的多個 NVL72 機櫃中進行測試，MoK 使整體訓練的 每秒處理權杖數（tokens per second）提升了 1.41 倍。

「當通訊成為效能限制因素時，我們必須從第一原理重新設計整個 MoE 層，將通訊直接內建於核心之中。」 • 研發團隊已將程式碼與完整技術細節釋出於 GitHub，期望藉此推動社群的持續優化與技術貢獻。