vLLM-Omni 服務多階段 Qwen3-Omni：架構、優化與實戰經驗

Qwen3-Omni 結合多模態理解與語音生成，vLLM-Omni 透過分階段管道服務此模型，並針對線上工作負載優化每個階段。 • 其服務堆疊包含思考器（Thinker）、說話器（Talker）及編碼轉波形（Code2Wav）三階段，各具不同運算特性，無法套用單一優化策略。 • 核心優化包括階段分解與批次處理，確保各階段能獨立調度、批次化及捕捉圖形；並應用 CUDA Graph 減少 CPU 側內核調度開銷。 • 此外，透過非同步區塊傳遞（async-chunk handoffs）與非同步輸出（async output）避免管道停滯，以及階段副本（replicas）來擴展語音生成能力。 • 驗證結果證明，這些優化顯著降低了音訊首次封包時間（TTFP）與音訊即時因子（RTF），同時大幅提升了高併發吞吐量。 • > 「每啟用一個優化層級，音訊首次封包時間（TTFP）、音訊即時因子（RTF）都顯著降低，同時吞吐量顯著提高。」 • vLLM-Omni 憑藉精細的階段級優化，成功實現 Qwen3-Omni 在真實世界負載下的高效穩定服務。