skypilot

skypilot 概覽

這是什麼

SkyPilot 是一個用於在任何 AI 基礎設施上執行、管理和擴展 AI 工作負載的系統。它為 AI 團隊提供一個簡單的介面來在任何基礎設施上執行任務，同時為基礎設施團隊提供一個統一的控制層來管理 AI 運算，並具備進階排程、擴展和編排功能。

主要功能

• 易於 AI 用戶使用：快速啟動運算資源、環境與任務即程式碼、簡易任務管理（包含佇列、執行與自動復原）。
• 讓 Kubernetes 更易於 AI 及基礎設施團隊使用：類似 Slurm 的易用性、雲原生穩健性、在 K8s 上的本機開發體驗（支援 SSH、程式碼同步或 IDE 連線），以及進階排程功能（如群組排程、多叢集與擴展）。
• 統一多個叢集、雲端與硬體：單一介面管理保留 GPU、Kubernetes 叢集、Slurm 叢集或 20 多個雲端服務，彈性佈建 GPU、TPU、CPU 並具備智慧容錯移轉，以及團隊部署與資源共享。
• 最大化 GPU 機群使用率：自動停止閒置資源、在共享叢集上進行資源壓縮、智慧排程器自動將任務排程至最可用的基礎設施。
• 支援現有的 GPU、TPU 和 CPU 工作負載，無需修改程式碼。

使用情境

SkyPilot 可用於訓練、服務、執行 LLM 模型、AI 應用程式及常見框架。使用範例包括：使用 Verl、Finetune Llama 4、TorchTitan、PyTorch、DeepSpeed、NeMo、Ray、Unsloth、Jax/TPU、OpenRLHF 進行訓練；使用 vLLM、SGLang、Ollama 進行服務；執行 DeepSeek-R1、Llama 4、Llama 3、CodeLlama、Qwen、Kimi-K2、Kimi-K2-Thinking、Mixtral 等模型；AI 應用如 RAG 與向量資料庫；以及常見框架如 Airflow、Jupyter 與 marimo。

快速開始

使用 uv 安裝（也支援 pip、夜間版、原始碼編譯）：bashuv pip install 'skypilot[kubernetes,aws,gcp,azure,oci,nebius,lambda,runpod,fluidstack,paperspace,cudo,ibm,scp,seeweb,shadeform,verda]'透過建立任務檔案 my_task.yaml 並執行 sky launch my_task.yaml 來啟動您的第一個叢集。完整的快速入門指南請參閱儲存庫 README。

授權與價格

SkyPilot 採用 Apache-2.0 授權的開源軟體。

內容整理自該專案公開的 README 與儲存庫資訊。