antirion
🕷️ 最快的開源 AI 閘道與 LLM 閘道 — 單一二進位檔,內建主控台,可路由、保護、預算控管並監控所有 LLM 呼叫,橫跨 OpenAI、Anthropic、Gemini、Bedrock 等服務。
antirion 是什麼?
🕷️ 最快的開源 AI 閘道與 LLM 閘道 — 單一二進位檔,內建主控台,可路由、保護、預算控管並監控所有 LLM 呼叫,橫跨 OpenAI、Anthropic、Gemini、Bedrock 等服務。
antirion 概覽
這是什麼
Antirion 是一個用 Rust 撰寫的開源 AI 閘道器(AI Gateway)與 LLM 閘道器。它作為單一二進位檔發布,內建管理主控台。此閘道器位於應用程式與模型提供者之間,負責路由、安全、預算控管與監控所有 LLM 呼叫。支援 OpenAI、Anthropic、Gemini、Bedrock 等眾多提供者。根據其 README,它是目前測量到最快的開源 AI 閘道器。
主要功能
- 效能:在 4 個 vCPU 上,每秒處理數千個請求,額外延遲低於毫秒。在基準測試中,於 c7i.xlarge 機器上,p50 額外延遲為 0.53 毫秒,64 條並行連線的吞吐量達 21,512 req/s。
- 單一二進位檔含主控台:閘道器、管理 API 與網頁主控台全部打包在一個 Rust 二進位檔(或 distroless 映像檔)中。無需 sidecar、獨立 UI 部署或額外執行環境。
- 統一 API 支援主要提供者:支援 OpenAI、Azure OpenAI、Anthropic、Amazon Bedrock、Google Vertex AI、Gemini、Mistral、Cohere、Groq、Together、Fireworks、DeepSeek、xAI、Cerebras、DeepInfra、Perplexity,以及任何相容 OpenAI 或 Anthropic 的伺服器(如 vLLM)。客戶端可使用 OpenAI、Anthropic、Gemini 或 Bedrock 協定;Antirion 會自動轉譯。
- 進階路由:備援鏈、加權分流、最低成本、最低延遲、最少忙碌、層級、內容分類器、重試、避險(hedging)與斷路器。每個請求獨立決定路由,並記錄於請求日誌中。
- 支出控管:在組織、團隊、專案與金鑰層級設定速率限制與預算(美元或代幣)。支援每個模型的定價、成本分類帳,以及預算即將用罄前的警報。
- 邊緣安全:針對 PII、機密、關鍵字、正規表示式、JSON Schema、工具權限、主題、審核、模型評判與合作夥伴服務提供護欄。支援請求、回應與串流的檢查,並以保留格式的方式進行編輯。
使用情境
- 統一 API 閘道器:用單一端點取代多個提供者專屬 SDK,處理路由、備援與協定轉譯。
- 生產環境監控與控管:透過內建請求日誌觀察每次 LLM 呼叫,強制執行速率限制與預算,並設定警報。
- 團隊協作:透過主控台邀請團隊成員,使用 OIDC、SAML 與 SCIM 進行 SSO,並以細粒度權限管理 API 金鑰。
- 高效能場景:適用於需要低延遲與高吞吐量的應用,例如即時聊天或大規模推論管線。
快速開始
docker run -p 8080:8080 -p 8081:8081 -v antirion-data:/var/lib/antirion eliasbiondo/antirion
授權與價格
Antirion 是開源軟體,採用 Apache-2.0 授權
內容整理自該專案公開的 README 與儲存庫資訊。