paddler

🏓🦙 開放原始碼 LLM/VLM 負載平衡與服務平台：適合自行託管大規模LLM（及VLM）。替代llm-d、Docker Model Runner等專案，但元件更少、部署簡單，圍繞ggml生態系統打造，支援CPU與GPU。

paddler 是什麼？

Paddler是開放原始碼的LLM/VLM負載平衡與服務平台，適合自行託管大規模LLM（及VLM）🏓🦙。相較於llm-d、Docker Model Runner等專案，它元件更少、部署更簡單，基於ggml生態系統，支援CPU與GPU。