inference-gateway
一個開源、雲端原生的高效能閘道器,整合多個 LLM 提供者,從 Ollama 等本機解決方案到 OpenAI 等主要雲端供應商。
inference-gateway 是什麼?
一個開源、雲端原生的高效能閘道器,整合多個 LLM 提供者,從 Ollama 等本機解決方案到 OpenAI、Groq、Cohere、Anthropic、Cloudflare 和 DeepSeek 等主要雲端供應商。
inference-gateway 概覽
這是什麼
Inference Gateway 是一個開源、雲端原生、高效能的代理伺服器,將多個 LLM 提供者整合在單一 OpenAI 相容 API 之後。它簡化了與各種語言模型互動的過程,包括本地解決方案(如 Ollama)和主要雲端提供者(如 OpenAI、Groq、Cohere、Anthropic、Cloudflare 和 DeepSeek),並支援輕鬆使用 Mixture of Experts。該軟體可自行託管,採用 Apache 2.0 授權,並透過統一端點管理跨提供者的請求和回應。
主要功能
- 支援多個提供者(OpenAI、Anthropic、Groq、Cohere、Ollama 等)的統一 OpenAI 相容 API 端點 - 跨支援提供者的工具使用支援,具備函式呼叫功能 - 完整的模型上下文協定 (MCP) 整合,可自動發現並暴露工具 - 代理對代理 (A2A) 伺服器,透過身份驗證、護欄和遙測轉發呼叫 - OPA/Rego 護欄,含機密與 PII 偵測,以及可選的外部護欄服務 - 串流、視覺/多模態支援、環境設定、Docker 與 Compose、Kubernetes 就緒、OpenTelemetry 指標、企業級功能(OIDC 認證、TLS)、輕量級(約 10MB)、隱私優先及 CLI 工具
使用情境
開發團隊可將該閘道部署為自行託管、隱私優先的代理,透過單一端點存取多個 LLM,簡化整合與測試。生產環境可利用水平擴展、Kubernetes 部署和護欄,提供安全、可稽核的 LLM 存取。組織可使用 MCP 和 A2A 伺服器建構代理工作流程,實現自動工具發現與代理間通訊。中介軟體繞過機制可對每個請求的閘道功能提供精細控制。
快速開始
請參閱儲存庫中的 README 以取得安裝說明。
授權與價格
採用 Apache 2.0 授權。該軟體被描述為開源、隱私優先、零資料收集,並採用 Apache 2.0 授權。
內容整理自該專案公開的 README 與儲存庫資訊。