我開源了一個自託管 LLM 閘道：單一端點整合多供應商，具回退與令牌成本限制功能

開源自託管 LLM Gateway，提供統一 API 端點，支援多供應商切換和成本限制，解決了多 LLM 供應商管理的痛點，對需要整合多個 LLM 的開發者是極其實用的工具。

許多開發者在使用多個大型語言模型 (LLM) 供應商時，常面臨 API 金鑰分散、缺乏自動回退機制 以及 難以追蹤每令牌實際花費 等痛點。為了解決這些挑戰，作者開發並開源了一個名為 Super Proxy 的 自託管 LLM 閘道。它提供一個單一端點，兼容 OpenAI 及 Anthropic 的 API 格式，讓現有 SDK 只需更改基礎 URL 即可使用。

• 整合路由多個 LLM 供應商：支援 OpenAI、Anthropic、Groq 等多個服務。 • 自動化供應商回退池：當某一供應商達到速率限制或停機時，請求會自動切換到其他供應商。 • 基於令牌的成本與模型使用限制：可從儀表板設置及撤銷，實現 精準的用量與費用追蹤。 • 成本優化：可將便宜的工作導向 Groq 等低成本供應商，將昂貴模型保留給關鍵任務。 • 支援 SQLite 持久化 及 Docker Compose 部署，並以 Apache-2.0 許可證發布。

作者提到 Super Proxy 目前仍處於早期階段 (pre-1.0)，並真誠地歡迎使用者運行測試，提供意見回饋以改進功能、供應商支援或路由行為。這個工具旨在簡化 LLM 整合管理，特別注重多供應商環境下的 穩定性與成本控制。