ai-gateway

統一 AI 閘道,支援 30 多種大型語言模型(OpenAI、Anthropic、Bedrock、Azure 等),具備快取、防護機制、A/B 測試與成本控制。以 Go 語言原生打造,最快且可擴展的 AI 閘道,為 LiteLLM 與 Kong AI 閘道的替代方案。

ai-gateway 是什麼?

統一 AI 閘道,支援 30 多種大型語言模型(OpenAI、Anthropic、Bedrock、Azure 等),具備快取、防護機制、A/B 測試與成本控制。以 Go 語言原生打造,最快且可擴展的 AI 閘道,為 LiteLLM 與 Kong AI 閘道的替代方案。

ai-gateway 概覽

這是什麼

Ferro Labs AI Gateway 是一個開源、相容 OpenAI 的 LLM 閘道器,使用 Go 語言開發。它透過單一 API 將 LLM 請求路由到 30 個以上的供應商(包括 OpenAI、Anthropic、Bedrock、Azure 等)。此專案設計為高效能、低延遲,以單一靜態二進位檔執行,無需外部服務,基礎記憶體僅 32 MB。採用 Apache 2.0 授權。

主要功能

  • 支援 30 個供應商與 2,500 多種模型,透過單一 OpenAI 相容 API 存取。
  • 8 種路由策略:單一、備援、負載平衡、最低延遲、成本最佳化、內容導向、A/B 測試、條件路由。
  • 內建防護與外掛:字詞過濾、正規表示式防護、PII 遮罩、機密掃描、提示注入防護、回應結構驗證、Token/訊息限制、回應快取、速率限制、每金鑰預算、請求記錄。
  • MCP(模型上下文協定)支援:可連接 stdio 與 Streamable HTTP 工具伺服器,將工具注入聊天完成流程。
  • 可觀測性:OpenTelemetry 追蹤與 Prometheus 指標。
  • 內建操作儀表板,位於 /,可檢視流量、花費、供應商健康狀態、請求記錄與稽核軌跡。
  • 在 v1.0.0 基準測試中達到 13,925 RPS(1,000 同時連線)。

使用情境

  • 將多個 LLM 供應商集中到單一 API 端點。
  • 在不同模型與供應商之間實作備援、負載平衡或 A/B 測試。
  • 為 LLM 請求加入防護機制,例如內容過濾、PII 遮罩與速率限制。
  • 使用 MCP 連接外部工具伺服器,啟用代理工具呼叫。
  • 透過內建儀表板監控與管理 LLM 使用量、成本與效能。

快速開始

使用以下任一方式安裝: ```bash # macOS, Linux curl -fsSL https://get.ferrolabs.ai | sh # Homebrew brew install ferro-labs/tap/ferrogw # Docker docker run -p 8080:8080 ghcr.io/ferro-labs/ai-gateway:latest

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/ferro-labsai-gateway.svg)](https://yunodb.com/tools/ferro-labsai-gateway?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/ferro-labsai-gateway?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/ferro-labsai-gateway.svg" alt="Featured on YunoDB" height="20"></a>