uni-api

這是一個統一管理 LLM API 的專案。它可以透過統一的 API 介面呼叫多個後端服務,並轉換為 OpenAI 格式。

uni-api 是什麼?

這是一個統一管理 LLM API 的專案。它可以透過統一的 API 介面呼叫多個後端服務,並統一轉換為 OpenAI 格式,同時支援負載平衡。目前支援的後端服務包括:OpenAI、Anthropic、DeepBricks、OpenRouter、Gemini、Vertex 等。

uni-api 概覽

這是什麼

uni-api 是一個開源專案,提供大型語言模型(LLM)API 的統一管理層。使用者可以透過一個符合 OpenAI 格式的單一 API 介面,呼叫多個後端服務。此專案專為個人使用設計,提供比複雜商業方案更簡單的替代選擇。它支援跨後端提供者的負載平衡與自動重試。

主要功能

  • 支援多個後端提供者,包括 OpenAI、Anthropic、Gemini、Vertex、Azure、AWS、xai、Cohere、Groq、Cloudflare、OpenRouter 與 0-0.pro。
  • 採用純設定檔方式(無前端介面)來設定 API 頻道。
  • 提供三種負載平衡:頻道層級加權、頻道層級輪詢(round-robin),以及自動 API 金鑰層級輪詢。
  • 包含自動重試與頻道冷卻機制:當頻道回應失敗時,會暫時排除並冷卻一段時間。
  • 支援細粒度的模型逾時設定、使用萬用字元的權限控制,以及速率限制(例如 2/min、5/hour)。
  • 提供多個標準 OpenAI 格式端點:/v1/chat/completions、/v1/responses、/v1/images/generations、/v1/embeddings、/v1/audio/transcriptions、/v1/audio/speech、/v1/moderations、/v1/models。
  • 支援 OpenAI、Anthropic、Gemini、Vertex、Azure 與 AWS 的原生工具呼叫與圖片辨識功能。
  • 包含 OpenAI 審查機制,可降低後端 API 被供應商封鎖的風險。

使用情境

  • 個人使用:建立一個私有的 API 站點,將多個 LLM 提供者聚合在單一 OpenAI 相容端點之後。
  • 負載平衡:將請求分散到多個 API 金鑰或提供者,以提升可靠性與吞吐量。
  • 成本與權限管理:控制特定 API 金鑰可以存取的模型,並設定速率限制。
  • 備援與重試:在請求失敗時自動重試其他頻道,確保服務不中斷。

快速開始

啟動 uni-api 必須提供設定檔。有兩種方法: 1. 使用 CONFIG_URL 環境變數指向設定檔 URL,啟動時會自動下載。 2. 將名為 api.yaml 的設定檔掛載到容器中。 最小可執行的 api.yaml 範例: ```yaml providers:

  • provider: provider_name base_url: https://api.your.com/v1/chat/completions api: sk-YgS6GTi0b4bEabc4C api_keys:
  • api: sk-Pkj60Yf8JFWxfgRmXQFWyGtWUddGZnmi3KlvowmRWpWpQxx ``` 詳細進階設定請參閱儲存庫的 README。

授權與價格

此專案採用 Apache-2.0 授權,為開源軟體。價格未說明;根據授權條款可免費使用。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/yym68686uni-api.svg)](https://yunodb.com/tools/yym68686uni-api?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/yym68686uni-api?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/yym68686uni-api.svg" alt="Featured on YunoDB" height="20"></a>