gpustack

一個 GPU 叢集管理器，專為高效能 AI 模型服務（vLLM、SGLang）以及按需求可透過 SSH 存取的 GPU 執行個體所設計。

gpustack 是什麼？

一個 GPU 叢集管理器，專為高效能 AI 模型服務（vLLM、SGLang）以及按需求可透過 SSH 存取的 GPU 執行個體所設計。