uni-api
這是一個統一管理 LLM API 的專案。它可以透過統一的 API 介面呼叫多個後端服務,並轉換為 OpenAI 格式。
uni-api 是什麼?
這是一個統一管理 LLM API 的專案。它可以透過統一的 API 介面呼叫多個後端服務,並統一轉換為 OpenAI 格式,同時支援負載平衡。目前支援的後端服務包括:OpenAI、Anthropic、DeepBricks、OpenRouter、Gemini、Vertex 等。
uni-api 概覽
這是什麼
uni-api 是一個開源專案,提供大型語言模型(LLM)API 的統一管理層。使用者可以透過一個符合 OpenAI 格式的單一 API 介面,呼叫多個後端服務。此專案專為個人使用設計,提供比複雜商業方案更簡單的替代選擇。它支援跨後端提供者的負載平衡與自動重試。
主要功能
- 支援多個後端提供者,包括 OpenAI、Anthropic、Gemini、Vertex、Azure、AWS、xai、Cohere、Groq、Cloudflare、OpenRouter 與 0-0.pro。
- 採用純設定檔方式(無前端介面)來設定 API 頻道。
- 提供三種負載平衡:頻道層級加權、頻道層級輪詢(round-robin),以及自動 API 金鑰層級輪詢。
- 包含自動重試與頻道冷卻機制:當頻道回應失敗時,會暫時排除並冷卻一段時間。
- 支援細粒度的模型逾時設定、使用萬用字元的權限控制,以及速率限制(例如 2/min、5/hour)。
- 提供多個標準 OpenAI 格式端點:/v1/chat/completions、/v1/responses、/v1/images/generations、/v1/embeddings、/v1/audio/transcriptions、/v1/audio/speech、/v1/moderations、/v1/models。
- 支援 OpenAI、Anthropic、Gemini、Vertex、Azure 與 AWS 的原生工具呼叫與圖片辨識功能。
- 包含 OpenAI 審查機制,可降低後端 API 被供應商封鎖的風險。
使用情境
- 個人使用:建立一個私有的 API 站點,將多個 LLM 提供者聚合在單一 OpenAI 相容端點之後。
- 負載平衡:將請求分散到多個 API 金鑰或提供者,以提升可靠性與吞吐量。
- 成本與權限管理:控制特定 API 金鑰可以存取的模型,並設定速率限制。
- 備援與重試:在請求失敗時自動重試其他頻道,確保服務不中斷。
快速開始
啟動 uni-api 必須提供設定檔。有兩種方法: 1. 使用 CONFIG_URL 環境變數指向設定檔 URL,啟動時會自動下載。 2. 將名為 api.yaml 的設定檔掛載到容器中。 最小可執行的 api.yaml 範例: ```yaml providers:
- provider: provider_name base_url: https://api.your.com/v1/chat/completions api: sk-YgS6GTi0b4bEabc4C api_keys:
- api: sk-Pkj60Yf8JFWxfgRmXQFWyGtWUddGZnmi3KlvowmRWpWpQxx ``` 詳細進階設定請參閱儲存庫的 README。
授權與價格
此專案採用 Apache-2.0 授權,為開源軟體。價格未說明;根據授權條款可免費使用。
內容整理自該專案公開的 README 與儲存庫資訊。