Baseten 影片生成效能飛躍:Wan 2.2 推論速度狂飆 53.6 倍,實現即時體驗
Baseten 介紹其在 Wan 2.2 影片生成上的推理效能提升,包含具體優化技術,有工具實戰價值。
Baseten 團隊透過一系列創新優化,成功將 Wan 2.2 影片生成模型 的推論速度提升了 53.6 倍,使其單一影片生成時間從超過兩分鐘縮短至僅需 2.75 秒,達到實時生成水平。
這一顯著效能提升主要歸功於以下多層次的技術改良: • 時間步長蒸餾:將生成步驟從 40-80 步大幅減少至 4 步,實現約 20 倍的速度提升。 • 客製化核心優化與融合:針對自注意力機制瓶頸,開發高效能核心並進行融合,提升約 1.5 倍效能。 • NVFP4 量化:採用 4 位元權重, Leveraging 硬體優勢,再次加速約 1.5 倍。
這些乘數效應的改進不僅大幅降低了每部影片的生成成本達 31 倍,更為廣泛應用奠定了基礎。為確保服務的穩定性與擴展性,Baseten 還建構了可擴展的推論基礎設施,包含自動擴展、優化冷啟動的交付網路及智慧佇列系統。此外,團隊亦導入了 堅固的內容防護措施,透過客製化分類器有效防止不當內容的生成,確保負責任地提供服務。
作者指出,影片生成不同於 LLM 推論,其整體技術堆疊仍不夠成熟,因此透過訓練後和推論優化,仍有巨大的性能提升空間。
來源:Baseten
閱讀原文 ↗