inference-gateway

一個開源、雲端原生的高效能閘道器,整合多個 LLM 提供者,從 Ollama 等本機解決方案到 OpenAI 等主要雲端供應商。

inference-gateway 是什麼?

一個開源、雲端原生的高效能閘道器,整合多個 LLM 提供者,從 Ollama 等本機解決方案到 OpenAI、Groq、Cohere、Anthropic、Cloudflare 和 DeepSeek 等主要雲端供應商。