bifrost
最快的企業級AI閘道(比LiteLLM快50倍),具備自適應負載平衡器、叢集模式、安全護欄、支援超過1000種模型,且在每秒5000次請求下額外負擔低於100微秒
bifrost 是什麼?
最快的企業級AI閘道(比LiteLLM快50倍),具備自適應負載平衡器、叢集模式、安全護欄、支援超過1000種模型,且在每秒5000次請求下額外負擔低於100微秒
bifrost 概覽
這是什麼
Bifrost 是一個 AI 閘道器,透過單一相容 OpenAI 的 API,統整 23 個以上的供應商(包括 OpenAI、Anthropic、AWS Bedrock、Google Vertex)。該專案以 Go 語言撰寫,採用 Apache-2.0 授權。設計上支援零初始設定部署,並提供自動故障轉移、負載平衡、語意快取及企業級功能。
主要功能
- 統一介面:所有供應商共用單一相容 OpenAI 的 API。
- 多供應商支援:支援 OpenAI、Anthropic、AWS Bedrock、Google Vertex、Azure、Cerebras、Cohere、Mistral、Ollama、Groq 等。
- 自動故障轉移:在供應商與模型之間無縫切換,零停機。
- 負載平衡:在多個 API 金鑰與供應商之間智慧分配請求。
- 模型上下文協定 (MCP):讓 AI 模型使用外部工具(檔案系統、網路搜尋、資料庫)。
- 語意快取:根據語意相似度進行智慧回應快取,降低成本與延遲。
- 企業功能:預算管理、使用者佈建 (OIDC)、可觀測性 (Prometheus 指標) 及機密管理。
使用情境
Bifrost 可作為現有 OpenAI、Anthropic 或 Google GenAI 套件的直接替代方案,只需變更基礎 URL。適用於需要高可靠性和擴展性的生產環境,例如微服務架構、即時 AI 應用,以及需要統一存取多個模型供應商並具備故障轉移和負載平衡功能的企業系統。
快速開始
請參閱儲存庫的 README 以取得詳細說明。README 提供以下快速啟動指令:bash# 在本機安裝並執行npx -y @maximhq/bifrost``````bash# 或者使用 Dockerdocker run -p 8080:8080 maximhq/bifrost啟動後,透過內建網頁介面(http://localhost:8080)進行設定,並使用 curl 呼叫 API。
授權與價格
本專案採用 Apache-2.0 授權,為開源軟體。
內容整理自該專案公開的 README 與儲存庫資訊。