paddler
🏓🦙 開放原始碼 LLM/VLM 負載平衡與服務平台:適合自行託管大規模LLM(及VLM)。替代llm-d、Docker Model Runner等專案,但元件更少、部署簡單,圍繞ggml生態系統打造,支援CPU與GPU。
paddler 是什麼?
Paddler是開放原始碼的LLM/VLM負載平衡與服務平台,適合自行託管大規模LLM(及VLM)🏓🦙。相較於llm-d、Docker Model Runner等專案,它元件更少、部署更簡單,基於ggml生態系統,支援CPU與GPU。
paddler 概覽
這是什麼
Paddler 是一個開源的 LLM/VLM 負載平衡器與服務平台,用於大規模自架大型語言模型(以及視覺語言模型)。它的設計目標是作為 llm-d、Docker Model Runner 等專案的替代方案,但更少移動部件,且部署更簡單,圍繞 ggml 生態系統建構。Paddler 可在 CPU 和 GPU 上運行。
主要功能
- 透過內建的 llama.cpp 引擎進行推論 - 針對 LLM 的負載平衡 - 可動態新增 agent,並與自動擴展工具整合 - 請求緩衝,支援從零主機擴展 - 動態模型交換 - 內建網頁管理介面,用於管理、監控與測試 - 可觀測性指標
使用情境
Paddler 適用於需要在功能中整合 LLM 推論與嵌入的產品團隊、需要大規模執行與部署 LLM 的 DevOps/LLMOps 團隊、處理敏感資料且需高度合規與隱私要求的組織(如醫療、金融等),以及希望達成可預測 LLM 成本而非暴露於按 token 計價的組織。
快速開始
Paddler is self-contained in a single binary. Obtain the paddler binary from the latest GitHub release or build from source (MSRV is 1.88.0). Then start the balancer: sh paddler balancer --inference-addr 127.0.0.1:8061 --management-addr 127.0.0.1:8060 --web-admin-panel-addr 127.0.0.1:8062 And start an agent with 4 slots: sh paddler agent --management-addr 127.0.0.1:8060 --slots 4
License and pricing
The project is licensed under Apache-2.0. It is open source; no pricing information is stated in the provided metadata or README.
內容整理自該專案公開的 README 與儲存庫資訊。