antirion

🕷️ 最快的開源 AI 閘道與 LLM 閘道 — 單一二進位檔,內建主控台,可路由、保護、預算控管並監控所有 LLM 呼叫,橫跨 OpenAI、Anthropic、Gemini、Bedrock 等服務。

antirion 是什麼?

🕷️ 最快的開源 AI 閘道與 LLM 閘道 — 單一二進位檔,內建主控台,可路由、保護、預算控管並監控所有 LLM 呼叫,橫跨 OpenAI、Anthropic、Gemini、Bedrock 等服務。

antirion 概覽

這是什麼

Antirion 是一個用 Rust 撰寫的開源 AI 閘道器(AI Gateway)與 LLM 閘道器。它作為單一二進位檔發布,內建管理主控台。此閘道器位於應用程式與模型提供者之間,負責路由、安全、預算控管與監控所有 LLM 呼叫。支援 OpenAI、Anthropic、Gemini、Bedrock 等眾多提供者。根據其 README,它是目前測量到最快的開源 AI 閘道器。

主要功能

  • 效能:在 4 個 vCPU 上,每秒處理數千個請求,額外延遲低於毫秒。在基準測試中,於 c7i.xlarge 機器上,p50 額外延遲為 0.53 毫秒,64 條並行連線的吞吐量達 21,512 req/s。
  • 單一二進位檔含主控台:閘道器、管理 API 與網頁主控台全部打包在一個 Rust 二進位檔(或 distroless 映像檔)中。無需 sidecar、獨立 UI 部署或額外執行環境。
  • 統一 API 支援主要提供者:支援 OpenAI、Azure OpenAI、Anthropic、Amazon Bedrock、Google Vertex AI、Gemini、Mistral、Cohere、Groq、Together、Fireworks、DeepSeek、xAI、Cerebras、DeepInfra、Perplexity,以及任何相容 OpenAI 或 Anthropic 的伺服器(如 vLLM)。客戶端可使用 OpenAI、Anthropic、Gemini 或 Bedrock 協定;Antirion 會自動轉譯。
  • 進階路由:備援鏈、加權分流、最低成本、最低延遲、最少忙碌、層級、內容分類器、重試、避險(hedging)與斷路器。每個請求獨立決定路由,並記錄於請求日誌中。
  • 支出控管:在組織、團隊、專案與金鑰層級設定速率限制與預算(美元或代幣)。支援每個模型的定價、成本分類帳,以及預算即將用罄前的警報。
  • 邊緣安全:針對 PII、機密、關鍵字、正規表示式、JSON Schema、工具權限、主題、審核、模型評判與合作夥伴服務提供護欄。支援請求、回應與串流的檢查,並以保留格式的方式進行編輯。

使用情境

  • 統一 API 閘道器:用單一端點取代多個提供者專屬 SDK,處理路由、備援與協定轉譯。
  • 生產環境監控與控管:透過內建請求日誌觀察每次 LLM 呼叫,強制執行速率限制與預算,並設定警報。
  • 團隊協作:透過主控台邀請團隊成員,使用 OIDC、SAML 與 SCIM 進行 SSO,並以細粒度權限管理 API 金鑰。
  • 高效能場景:適用於需要低延遲與高吞吐量的應用,例如即時聊天或大規模推論管線。

快速開始

docker run -p 8080:8080 -p 8081:8081 -v antirion-data:/var/lib/antirion eliasbiondo/antirion

授權與價格

Antirion 是開源軟體,採用 Apache-2.0 授權

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/eliasbiondoantirion.svg)](https://yunodb.com/tools/eliasbiondoantirion?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/eliasbiondoantirion?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/eliasbiondoantirion.svg" alt="Featured on YunoDB" height="20"></a>