OrcaRouter-Lite

自託管 LLM 路由器,附帶受管安全網。相容 OpenAI。BYOK。單一工作區。串流。如需更高階的路由,請選擇託管版 OrcaRouter

OrcaRouter-Lite 是什麼?

自託管 LLM 路由器,附帶受管安全網。相容 OpenAI。BYOK。單一工作區。串流。如需更高階的路由,請選擇託管版 OrcaRouter

OrcaRouter-Lite 概覽

這是什麼

OrcaRouter Lite 是一個自託管的 LLM 路由器,具備受管的安全網。它相容 OpenAI API,支援自帶金鑰(BYOK)、單工作區和串流功能。這是 OrcaRouter 的開源單工作區版本,可在筆電上執行或整合到產品中。如需更進階的路由功能,可使用託管版 OrcaRouter。

主要功能

  • 自託管伺服器,提供 OpenAI 相容 API。
  • model='auto' 功能,根據請求需求(工具、視覺、JSON 模式)自動選取最便宜的可用模型。
  • 串流支援,使用 OpenAI 相容的 SSE 格式。
  • 原生協定端點支援 Anthropic Messages API 和 Gemini API,無需 OpenAI SDK 即可直接連接。
  • 內建儀表板(/),可檢視供應商、路由、分析和金鑰(僅限自託管)。
  • 模型目錄包含 100 多個聊天模型,啟動時從 LiteLLM 的定價資料庫載入,附帶能力標記和每 token 成本。
  • 預設使用 SQLite;可透過 DATABASE_URL 選擇 Postgres;Redis 為選用。
  • 跨供應商提示快取和路由策略(平衡、最便宜、最快、品質)。

使用情境

  • 使用自己的供應商金鑰執行自託管 LLM 路由器。
  • 使用 model='auto' 自動選取最便宜的可用模型,無需手動路由規則。
  • 容錯:本地供應商失敗時,託管版 OrcaRouter 作為安全網。
  • 先試後買:使用託管版作為上游時,無需本地供應商金鑰。
  • 本地記錄:託管版處理路由,Lite 儲存 RequestLog 記錄供儀表板使用。

快速開始

有兩種使用 OrcaRouter 的方式:路徑 A — 自託管(BYOK)

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/continuum-ai-corporcarouter-lite.svg)](https://yunodb.com/tools/continuum-ai-corporcarouter-lite?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/continuum-ai-corporcarouter-lite?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/continuum-ai-corporcarouter-lite.svg" alt="Featured on YunoDB" height="20"></a>