gpustack
一個 GPU 叢集管理器,專為高效能 AI 模型服務(vLLM、SGLang)以及按需求可透過 SSH 存取的 GPU 執行個體所設計。
gpustack 是什麼?
一個 GPU 叢集管理器,專為高效能 AI 模型服務(vLLM、SGLang)以及按需求可透過 SSH 存取的 GPU 執行個體所設計。
gpustack 概覽
這是什麼
GPUStack 是一個開源的 GPU 叢集管理器,用於 AI 模型服務與 GPU 實例佈建。它可設定並編排推理引擎(vLLM、SGLang、TensorRT-LLM 或自訂引擎),並讓使用者按需啟動可透過 SSH 存取的 GPU 實例。本專案採用 Apache-2.0 授權。
主要功能
- 多叢集 GPU 管理,支援本地伺服器、Kubernetes 與雲端供應商,並提供 GPU 切片以分配 VRAM 與運算資源。
- 可插拔推理引擎,自動設定 vLLM、SGLang、TensorRT-LLM,並支援自訂引擎。
- Day 0 模型支援,可在新模型發佈當天立即部署。
- 效能最佳化設定,提供低延遲或高吞吐量模式、prefill/decode 分離、共享 KV 快取(含 L2 儲存),以及內建推測解碼(EAGLE3、MTP、N-grams)。
- 內建基準測試,透過 Auto Tune 自動探索並發量或請求率,以找出峰值吞吐量或符合 SLO 的最高並發量。
- 按需 SSH 可存取的 GPU 實例,適用於開發、微調與互動式工作負載。
- 企業級營運功能,包括自動故障恢復、負載平衡、監控、身分驗證與存取控制。
使用情境
GPUStack 專為開發團隊、IT 組織與服務供應商設計,用於大規模提供 Model-as-a-Service。它支援 LLM、語音、影像與影片模型的業界標準 API。使用情境包括高效能部署與服務 AI 模型、為開發與微調佈建 GPU 實例,以及在混合環境中管理 GPU 叢集。
快速開始
先決條件:至少一個 NVIDIA GPU 的節點(或其他支援的加速器)、NVIDIA 驅動程式、Docker 與 NVIDIA Container Toolkit。僅 CPU 的節點可作為 GPUStack 伺服器。工作節點僅支援 Linux。使用 Docker 安裝 GPUStack 伺服器:bashsudo docker run -d --name gpustack --restart unless-stopped -p 80:80 --volume gpustack-data:/var/lib/gpustack gpustack/gpustack取得預設管理員密碼:bashsudo docker exec gpustack cat /var/lib/gpustack/initial_admin_password在瀏覽器開啟 http://your_host_ip,使用使用者名稱 admin 與取得的密碼登入。接著透過 UI 新增叢集與工作節點,並從 Catalog 部署模型。完整說明請參閱儲存庫 README。
授權與價格
GPUStack 為開源軟體,採用 Apache-2.0 授權。價格未說明;本專案標示為開源。
內容整理自該專案公開的 README 與儲存庫資訊。