olla
高效能輕量級代理與負載平衡器,專為LLM基礎設施設計。智慧路由、自動故障轉移,以及跨本地與遠端推理後端的統一模型發現。
olla 是什麼?
高效能輕量級代理與負載平衡器,專為LLM基礎設施設計。智慧路由、自動故障轉移,以及跨本地與遠端推理後端的統一模型發現。
olla 概覽
這是什麼
Olla 是一個高效能、低開銷、低延遲的代理與負載平衡器,用於管理 LLM 基礎設施。它能智慧地將 LLM 請求路由到多個自託管推理節點,支援多種原生端點,並可擴展以支援其他端點。Olla 提供模型發現與統一模型目錄,讓每個提供者內的可用模型能夠無縫路由到相容的端點。它可與 LiteLLM 等 API 閘道或 GPUStack 等編排平台搭配使用,專注於透過智慧路由與故障轉移讓現有 LLM 基礎設施更可靠。使用者可選擇兩種代理引擎:Sherpa(簡單易維護)或 Olla(高效能,具備斷路器與連線池等進階功能)。只需單一 CLI 應用程式與設定檔即可執行 Olla。
主要功能
- 智慧負載平衡:基於優先順序的路由,具備自動故障轉移與連線重試
- 黏性工作階段:KV 快取感知的親和性路由,將多輪對話固定到同一個後端
- 智慧模型統一:每個提供者內統一,加上相容 OpenAI 的跨提供者路由
- 雙代理引擎:Sherpa(簡單)與 Olla(高效能)
- 進階過濾:使用 glob 模式進行設定檔與模型過濾,實現精確控制
- 健康監控:持續端點健康檢查,具備斷路器與自動恢復
- 智慧重試:連線失敗時自動重試,並立即進行透明的端點故障轉移
- 自我修復:端點恢復時自動重新整理模型發現
- 請求追蹤:詳細的回應標頭與統計資料
- Anthropic Messages API:原生支援的後端直接傳遞;其他後端自動轉換
- 後端驗證:為需要 API 金鑰、Bearer Token 或基本驗證的本地後端提供輸出驗證
- 生產就緒:速率限制、請求大小限制、可選的瀏覽器用戶端 CORS、可設定的代理/伺服器逾時、優雅關機
- 高效能:次毫秒端點選擇,使用無鎖原子統計
- LLM 最佳化:串流優先設計,針對長時間推理最佳化逾時
- 管理儀表板:唯讀的整體部署概覽,內嵌於二進位檔案的 /internal/ui/ 路徑,預設開啟且僅限迴路介面
使用情境
Olla 適用於管理包含多個自託管推理後端的 LLM 基礎設施。可用於智慧地將請求路由到不同後端,在端點不健康時自動故障轉移,並統一跨提供者的模型發現。適合需要可靠性、低延遲與高效資源利用的環境,例如 LLM 服務的生產部署。Olla 可與現有 API 閘道或編排平台搭配使用,以增強其功能。
快速開始
bash# Download latest release (auto-detects your platform)bash
授權與價格
Olla 採用 Apache-2.0 授權的開源軟體。價格未說明,僅知為開源。
內容整理自該專案公開的 README 與儲存庫資訊。