lm-proxy

OpenAI 相容的 HTTP LLM 代理/閘道,支援多供應商推論(Google、Anthropic、OpenAI、PyTorch)。輕量、可擴展的 Python/FastAPI 實作,可作為函式庫或獨立服務使用。

lm-proxy 是什麼?

OpenAI 相容的 HTTP LLM 代理/閘道,專為多供應商推論設計(支援 Google、Anthropic、OpenAI、PyTorch)。採用輕量且可擴展的 Python/FastAPI 架構,既可作為函式庫整合,也能以獨立服務形式運作。

lm-proxy 概覽

這是什麼

LM-Proxy 是一個輕量級、相容 OpenAI 的 HTTP 代理伺服器/閘道,透過單一標準化 API 端點統一存取多個大型語言模型提供者與本地推論。它使用 Python、FastAPI 與 MicroCore 建構,可作為 OpenAI API 的直接替代品,無需修改現有客戶端程式碼即可切換雲端提供者與本地模型。支援即時 token 串流、安全的虛擬 API 金鑰管理,可作為可匯入的 Python 函式庫或獨立 HTTP 服務使用。

主要功能

  • 提供者無關:透過單一 API 連接 OpenAI、Anthropic、Google AI、本地模型等
  • 統一介面:透過標準 OpenAI API 格式存取所有模型
  • 動態路由:根據模型名稱模式將請求路由至不同 LLM 提供者
  • 串流支援:完整支援即時回應串流
  • API 金鑰管理:可設定的 API 金鑰驗證與存取控制
  • 簡易設定:使用 TOML/YAML/JSON/Python 設定檔進行設定
  • 可擴展設計:最小核心搭配明確定義的擴展點,無需修改核心即可自訂與擴充

使用情境

LM-Proxy 可用於生產應用程式或實驗不同模型。它消除了整合複雜性,使程式碼庫與提供者無關。可作為函式庫或獨立服務使用。支援代理至 Anthropic API、透過 Vertex AI 或 Google AI Studio 的 Google Gemini,以及本地 PyTorch 推論。

快速開始

需求:Python 3.11、3.12 或 3.13。安裝:pip install lm-proxy選擇性相依(Anthropic、Google):pip install lm-proxy[anthropic,google]或pip install lm-proxy[all]快速開始:1. 建立 config.toml 檔案(範例請見 README)。2. 啟動伺服器:lm-proxy或:python -m lm_proxy3. 使用任何相容 OpenAI 的客戶端(Python 範例請見 README)。Docker:docker run -d --name lm-proxy -p 8000:8000 -v ./config.toml:/app/config.toml:ro --env-file .env lmproxy/lmproxy:edge

授權與價格

授權:MIT。價格:開源(未另行說明)。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/nayjestlm-proxy.svg)](https://yunodb.com/tools/nayjestlm-proxy?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/nayjestlm-proxy?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/nayjestlm-proxy.svg" alt="Featured on YunoDB" height="20"></a>