Fastllm-proxy

最低開銷的 LLM 路由器。生產就緒、高可用，一個 OpenAI 相容端點，位於 80 家供應商及您自己的 vLLM/SGLang 之前 — 每個請求 0.76 µs

Fastllm-proxy 是什麼？

最低開銷的 LLM 路由器。生產就緒、高可用，一個 OpenAI 相容端點，位於 80 家供應商及您自己的 vLLM/SGLang 之前 — 每個請求 0.76 µs，請求路徑上無 I/O、快取親和性路由、RBAC、預算，以及內建 13 個畫面的 UI。