OrcaRouter-Lite
自託管 LLM 路由器,附帶受管安全網。相容 OpenAI。BYOK。單一工作區。串流。如需更高階的路由,請選擇託管版 OrcaRouter
OrcaRouter-Lite 是什麼?
自託管 LLM 路由器,附帶受管安全網。相容 OpenAI。BYOK。單一工作區。串流。如需更高階的路由,請選擇託管版 OrcaRouter
OrcaRouter-Lite 概覽
這是什麼
OrcaRouter Lite 是一個自託管的 LLM 路由器,具備受管的安全網。它相容 OpenAI API,支援自帶金鑰(BYOK)、單工作區和串流功能。這是 OrcaRouter 的開源單工作區版本,可在筆電上執行或整合到產品中。如需更進階的路由功能,可使用託管版 OrcaRouter。
主要功能
- 自託管伺服器,提供 OpenAI 相容 API。
model='auto'功能,根據請求需求(工具、視覺、JSON 模式)自動選取最便宜的可用模型。- 串流支援,使用 OpenAI 相容的 SSE 格式。
- 原生協定端點支援 Anthropic Messages API 和 Gemini API,無需 OpenAI SDK 即可直接連接。
- 內建儀表板(
/),可檢視供應商、路由、分析和金鑰(僅限自託管)。 - 模型目錄包含 100 多個聊天模型,啟動時從 LiteLLM 的定價資料庫載入,附帶能力標記和每 token 成本。
- 預設使用 SQLite;可透過
DATABASE_URL選擇 Postgres;Redis 為選用。 - 跨供應商提示快取和路由策略(平衡、最便宜、最快、品質)。
使用情境
- 使用自己的供應商金鑰執行自託管 LLM 路由器。
- 使用
model='auto'自動選取最便宜的可用模型,無需手動路由規則。 - 容錯:本地供應商失敗時,託管版 OrcaRouter 作為安全網。
- 先試後買:使用託管版作為上游時,無需本地供應商金鑰。
- 本地記錄:託管版處理路由,Lite 儲存 RequestLog 記錄供儀表板使用。
快速開始
有兩種使用 OrcaRouter 的方式:路徑 A — 自託管(BYOK)
內容整理自該專案公開的 README 與儲存庫資訊。