在 AMD GPU 上探索 vLLM 的推測式解碼效能與應用

vLLM 官方技術部落格分享在 AMD GPU 上實作 Speculative Decoding 的實戰指南與配置調優

大型語言模型的規模日益龐大，透過 推測式解碼 (Speculative Decoding) 技術能有效突破傳統逐字生成效能瓶頸，實現單次目標模型執行驗證多個候選詞元的機制。vLLM 針對 AMD GPU 進行了深度整合，本文主要探討幾項關鍵重點：

• 評估了原生 MTP、Gemma 4 MTP、EAGLE-3、DFlash 與 DSpark 等五種不同的草擬方法 (Drafting Methods)。 • 分析草擬元件如何接收目標模型的隱藏狀態、KV 快取與特徵，並以序列式、平行式或混合方式產生候選詞元。 • 測試顯示，吞吐量表現受草擬方法、提議長度、模型家族、工作負載及驗證接受率等因素影響。

透過草擬與驗證機制，系統能在維持模型輸出行為的同時，顯著降低生成循環的延遲並提升推論吞吐量。

• 在硬體效能方面，實際量測了 AMD Instinct MI300X 與 MI355X GPU 搭配 ROCm 開源軟體平臺的執行表現。 • 實際部署時需針對特定的工作負載與模型配置進行實務調校與可觀測性評估，以發揮最佳的加速效益。