lm-proxy

OpenAI 相容的 HTTP LLM 代理/閘道，支援多供應商推論（Google、Anthropic、OpenAI、PyTorch）。輕量、可擴展的 Python/FastAPI 實作，可作為函式庫或獨立服務使用。

lm-proxy 是什麼？

OpenAI 相容的 HTTP LLM 代理/閘道，專為多供應商推論設計（支援 Google、Anthropic、OpenAI、PyTorch）。採用輕量且可擴展的 Python/FastAPI 架構，既可作為函式庫整合，也能以獨立服務形式運作。