Fastllm-proxy

最低開銷的 LLM 路由器。生產就緒、高可用,一個 OpenAI 相容端點,位於 80 家供應商及您自己的 vLLM/SGLang 之前 — 每個請求 0.76 µs

Fastllm-proxy 是什麼?

最低開銷的 LLM 路由器。生產就緒、高可用,一個 OpenAI 相容端點,位於 80 家供應商及您自己的 vLLM/SGLang 之前 — 每個請求 0.76 µs,請求路徑上無 I/O、快取親和性路由、RBAC、預算,以及內建 13 個畫面的 UI。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/azrtydxbfastllm-proxy.svg)](https://yunodb.com/tools/azrtydxbfastllm-proxy?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/azrtydxbfastllm-proxy?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/azrtydxbfastllm-proxy.svg" alt="Featured on YunoDB" height="20"></a>