trainer
分散式AI模型訓練與LLM微調,基於Kubernetes。
trainer 是什麼?
在Kubernetes上進行分散式AI模型訓練與LLM微調。
trainer 概覽
這是什麼
Kubeflow Trainer 是一個 Kubernetes 原生的分散式 AI 平台,用於可擴展的大型語言模型(LLM)微調、超參數最佳化,以及跨多種框架(包括 PyTorch、MLX、HuggingFace、DeepSpeed、Megatron-LM、JAX、XGBoost 等)的 AI 模型訓練。它將 MPI 帶入 Kubernetes,有效協調跨高效能運算(HPC)叢集的多節點、多 GPU 分散式任務。該專案目前處於 alpha 階段。
主要功能
- 支援多種 AI 框架:PyTorch、MLX、HuggingFace、DeepSpeed、Megatron-LM、JAX、XGBoost 等。
- MPI 整合,用於 Kubernetes 上的多節點、多 GPU 分散式訓練。
- 與 Kueue(拓撲感知排程與多叢集任務分派)、Slurm Bridge(混合 Kubernetes/Slurm 叢集排程)及 KAI Scheduler(GPU 感知排程)整合。
- 重複使用 Kubernetes 原生建構區塊(如 JobSet 和 LeaderWorkerSet)進行工作負載編排。
- 提供分散式資料快取,可將大規模資料以零複製方式直接串流至 GPU 節點。
- 提供 Python SDK,包含 TrainJob 和 Runtime API,用於開發和微調 LLM。
使用情境
- 在 Kubernetes 上進行大型語言模型(LLM)的可擴展微調。
- AI 模型的超參數最佳化。
- 跨多種框架和硬體配置的分散式訓練。
- 需要 MPI 通訊的高效能運算(HPC)工作負載。
快速開始
使用以下 Helm 指令部署最新穩定版本: bash helm install kubeflow-trainer oci://ghcr.io/kubeflow/charts/kubeflow-trainer --namespace kubeflow-system --create-namespace --set runtimes.defaultEnabled=true 完整的安裝與使用說明請參閱官方 Kubeflow Trainer 文件。
授權與價格
本專案採用 Apache-2.0 授權,為開放原始碼(免費使用)。
內容整理自該專案公開的 README 與儲存庫資訊。