dstack
異質AI運算的統一編排層。它標準化了在GPU雲端、Kubernetes、虛擬機或裸機叢集上管理運算資源及執行訓練與推論的方式。
dstack 是什麼?
異質AI運算的統一編排層。它標準化了在GPU雲端、Kubernetes、虛擬機或裸機叢集上管理運算資源及執行訓練與推論的方式。
dstack 概覽
這是什麼
dstack 是一個統一的控制平面,用於 GPU 資源調度與編排,可搭配任何 GPU 雲端、Kubernetes 或地端叢集運作。它統一了運算資源的管理方式,並可在 GPU 雲端、Kubernetes、VM 或裸機叢集上執行訓練與推論,且相容於任何硬體、開源工具與框架。內建支援 NVIDIA、AMD、Google TPU 與 Tenstorrent 加速器。伺服器可安裝於 Linux、macOS 與 Windows(透過 WSL 2),並需要 Git 與 OpenSSH。
主要功能
- 內建支援 NVIDIA、AMD、Google TPU 與 Tenstorrent 加速器。
- 設定類型包含 fleets、dev environments、tasks、services、presets 與 volumes,並以 YAML 檔案定義於你的儲存庫中。
- 可跨 GPU 雲端、Kubernetes 與地端叢集運作;使用地端伺服器時不需設定後端,只要伺服器啟動後建立 SSH fleets 即可。
- 自動處理跨雲端與地端叢集的資源佈建、工作排隊、自動擴縮、網路、儲存卷、執行失敗、容量不足錯誤與連接埠轉送。
- 可透過
dstack applyCLI 指令、程式化 API 或 AI agent skills 套用設定。 - Agent skills 可讓 Claude、Codex、Cursor 等 AI agent 建立與管理 fleets,並提交工作負載。
使用情境
- Fleets:跨雲端、Kubernetes 與地端佈建並管理叢集。
- Dev environments:啟動可供 agent 或 IDE 存取的開發環境。
- Tasks:在單一節點或叢集上執行訓練、批次或其他工作。
- Services:將模型推論部署為安全且可擴充的端點。
- Volumes:管理執行個體與網路儲存卷以保存資料。
快速開始
shell$ uv tool install \”dstack[all]\” -U$ dstack server伺服器啟動後,若 CLI 未隨伺服器一併安裝,請安裝 CLI 並將其指向伺服器:shell$ uv tool install dstack -U$ dstack project add \ --name main \ --url http://127.0.0.1:3000 \ --token bbae0f28-d3dd-4820-bf61-8f4bb40815daAgent skills 可透過 npx skills add dstackai/dstack 安裝。
授權與價格
Mozilla Public License 2.0。本專案為開源;README 與中繼資料未提及價格。
內容整理自該專案公開的 README 與儲存庫資訊。