lm-proxy
OpenAI 相容的 HTTP LLM 代理/閘道,支援多供應商推論(Google、Anthropic、OpenAI、PyTorch)。輕量、可擴展的 Python/FastAPI 實作,可作為函式庫或獨立服務使用。
lm-proxy 是什麼?
OpenAI 相容的 HTTP LLM 代理/閘道,專為多供應商推論設計(支援 Google、Anthropic、OpenAI、PyTorch)。採用輕量且可擴展的 Python/FastAPI 架構,既可作為函式庫整合,也能以獨立服務形式運作。
lm-proxy 概覽
這是什麼
LM-Proxy 是一個輕量級、相容 OpenAI 的 HTTP 代理伺服器/閘道,透過單一標準化 API 端點統一存取多個大型語言模型提供者與本地推論。它使用 Python、FastAPI 與 MicroCore 建構,可作為 OpenAI API 的直接替代品,無需修改現有客戶端程式碼即可切換雲端提供者與本地模型。支援即時 token 串流、安全的虛擬 API 金鑰管理,可作為可匯入的 Python 函式庫或獨立 HTTP 服務使用。
主要功能
- 提供者無關:透過單一 API 連接 OpenAI、Anthropic、Google AI、本地模型等
- 統一介面:透過標準 OpenAI API 格式存取所有模型
- 動態路由:根據模型名稱模式將請求路由至不同 LLM 提供者
- 串流支援:完整支援即時回應串流
- API 金鑰管理:可設定的 API 金鑰驗證與存取控制
- 簡易設定:使用 TOML/YAML/JSON/Python 設定檔進行設定
- 可擴展設計:最小核心搭配明確定義的擴展點,無需修改核心即可自訂與擴充
使用情境
LM-Proxy 可用於生產應用程式或實驗不同模型。它消除了整合複雜性,使程式碼庫與提供者無關。可作為函式庫或獨立服務使用。支援代理至 Anthropic API、透過 Vertex AI 或 Google AI Studio 的 Google Gemini,以及本地 PyTorch 推論。
快速開始
需求:Python 3.11、3.12 或 3.13。安裝:pip install lm-proxy選擇性相依(Anthropic、Google):pip install lm-proxy[anthropic,google]或pip install lm-proxy[all]快速開始:1. 建立 config.toml 檔案(範例請見 README)。2. 啟動伺服器:lm-proxy或:python -m lm_proxy3. 使用任何相容 OpenAI 的客戶端(Python 範例請見 README)。Docker:docker run -d --name lm-proxy -p 8000:8000 -v ./config.toml:/app/config.toml:ro --env-file .env lmproxy/lmproxy:edge
授權與價格
授權:MIT。價格:開源(未另行說明)。
內容整理自該專案公開的 README 與儲存庫資訊。