我開源「AI 版 AWS」：以 Docker Compose 實現組織級 AI 治理、合規與可稽核

開源了一個『AWS for AI』的專案，提供一個 docker compose 來實現企業級、合規、可審計的 AI 系統，包含網關、守衛、策略等，對企業導入 AI 有直接的實作框架。

作者開源了一個名為 OGAC (Off Grid AI Console) 的平台，旨在為企業提供一套整合式、治理完善、合規且可稽核的 AI 解決方案。此平台解決了將現有開源 AI 組件整合並確保其遵循組織規則的複雜挑戰，將多個頂尖開源框架串接成一個運作順暢的應用層。只需一個 Docker Compose 指令，即可部署以下關鍵功能： • LiteLLM：提供模型閘道，單一 OpenAI 相容端點連結多種模型。 • LLM Guard + Presidio：實現 PII 遮罩、防注入、毒性偵測等護欄機制。 • Langfuse：用於 LLM 的可觀察性與追蹤。 • OpenSearch：提供稽核與 SIEM 功能。 • Qdrant：支援向量搜尋與 RAG。其核心突破在於提供一個企業級的開發環境，讓員工在既定規則與權限控管 (RBAC) 下輕鬆建構 AI 應用與自動化工作流程。

作者強調：「只需設定一次規則，每個人都能在此基礎上建構受治理的 AI。」這意味著任何員工都能建立無法超出預設護欄、政策及稽核範圍的合規 AI 工作流。專案已在 GitHub 上開源，並提供具備範例租戶的即時唯讀展示，方便預覽其功能。