vLLM 微代理：利用模型 API 內部協作，突破尖端模型效能極限

• vLLM Semantic Router 提出透過模型 API 內部協作來提升大型模型效能的新典範，超越傳統路由器僅執行請求分發的角色。 • 其核心思想是將單一模型 API 呼叫，轉化為後端服務層中的有限制協作，讓模型能以更智慧、成本效益更高的方式應對複雜任務。 • 儘管使用者感知到的是單一模型的調用 (例如 vllm-sr/auto)，路由器卻能根據請求信號動態選擇不同的**「配方」，協調多個模型工作者來共同生成最終回應。 • 這種協作機制由「迴路器 (Looper)」作為執行時，支援多種模式，例如「信心 (Confidence)」模式透過逐步升級來節省成本，「重複混合模型推理 (ReMoM)」模式處理高推論變異，以及「融合 (Fusion)」模式利用分歧作為訊號。 • > 作者指出：「最佳的迴路器應是任務導向的 (task-shaped)。」這表示路由器會根據任務特性（如難度、風險、格式要求）自動選擇最適合的協作策略，而非採用單一通用演算法。 • 這與傳統將代理邏輯嵌入應用程式不同，vLLM 微代理將這些協作功能提升為開放的服務基礎原語**，由基礎設施層控制預算、策略與故障處理。 • 透過這種方式，vLLM 旨在使協作「感覺像一個模型」，對使用者隱藏其內部運作的複雜性。