Llamadeck
Llamadeck 的統一管理與路由:支援 llama.cpp、MLX 和 vLLM 模型——一個 CLI、多種後端,以及一個小巧的 HTTP 介面滿足其餘需求。
Llamadeck 是什麼?
Llamadeck 提供統一的模型管理與路由功能,支援 llama.cpp、MLX 和 vLLM 等後端。透過單一命令列介面 (CLI) 即可操作多種後端,並提供精簡的 HTTP 介面以滿足其他整合需求。
Llamadeck 的統一管理與路由:支援 llama.cpp、MLX 和 vLLM 模型——一個 CLI、多種後端,以及一個小巧的 HTTP 介面滿足其餘需求。
Llamadeck 提供統一的模型管理與路由功能,支援 llama.cpp、MLX 和 vLLM 等後端。透過單一命令列介面 (CLI) 即可操作多種後端,並提供精簡的 HTTP 介面以滿足其他整合需求。