inference-gateway

一個開源、雲端原生的高效能閘道器,整合多個 LLM 提供者,從 Ollama 等本機解決方案到 OpenAI 等主要雲端供應商。

inference-gateway 是什麼?

一個開源、雲端原生的高效能閘道器,整合多個 LLM 提供者,從 Ollama 等本機解決方案到 OpenAI、Groq、Cohere、Anthropic、Cloudflare 和 DeepSeek 等主要雲端供應商。

inference-gateway 概覽

這是什麼

Inference Gateway 是一個開源、雲端原生、高效能的代理伺服器,將多個 LLM 提供者整合在單一 OpenAI 相容 API 之後。它簡化了與各種語言模型互動的過程,包括本地解決方案(如 Ollama)和主要雲端提供者(如 OpenAI、Groq、Cohere、Anthropic、Cloudflare 和 DeepSeek),並支援輕鬆使用 Mixture of Experts。該軟體可自行託管,採用 Apache 2.0 授權,並透過統一端點管理跨提供者的請求和回應。

主要功能

  • 支援多個提供者(OpenAI、Anthropic、Groq、Cohere、Ollama 等)的統一 OpenAI 相容 API 端點 - 跨支援提供者的工具使用支援,具備函式呼叫功能 - 完整的模型上下文協定 (MCP) 整合,可自動發現並暴露工具 - 代理對代理 (A2A) 伺服器,透過身份驗證、護欄和遙測轉發呼叫 - OPA/Rego 護欄,含機密與 PII 偵測,以及可選的外部護欄服務 - 串流、視覺/多模態支援、環境設定、Docker 與 Compose、Kubernetes 就緒、OpenTelemetry 指標、企業級功能(OIDC 認證、TLS)、輕量級(約 10MB)、隱私優先及 CLI 工具

使用情境

開發團隊可將該閘道部署為自行託管、隱私優先的代理,透過單一端點存取多個 LLM,簡化整合與測試。生產環境可利用水平擴展、Kubernetes 部署和護欄,提供安全、可稽核的 LLM 存取。組織可使用 MCP 和 A2A 伺服器建構代理工作流程,實現自動工具發現與代理間通訊。中介軟體繞過機制可對每個請求的閘道功能提供精細控制。

快速開始

請參閱儲存庫中的 README 以取得安裝說明。

授權與價格

採用 Apache 2.0 授權。該軟體被描述為開源、隱私優先、零資料收集,並採用 Apache 2.0 授權。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/inference-gatewayinference-gateway.svg)](https://yunodb.com/tools/inference-gatewayinference-gateway?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/inference-gatewayinference-gateway?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/inference-gatewayinference-gateway.svg" alt="Featured on YunoDB" height="20"></a>