trainer

分散式AI模型訓練與LLM微調,基於Kubernetes。

trainer 是什麼?

在Kubernetes上進行分散式AI模型訓練與LLM微調。

trainer 概覽

這是什麼

Kubeflow Trainer 是一個 Kubernetes 原生的分散式 AI 平台,用於可擴展的大型語言模型(LLM)微調、超參數最佳化,以及跨多種框架(包括 PyTorch、MLX、HuggingFace、DeepSpeed、Megatron-LM、JAX、XGBoost 等)的 AI 模型訓練。它將 MPI 帶入 Kubernetes,有效協調跨高效能運算(HPC)叢集的多節點、多 GPU 分散式任務。該專案目前處於 alpha 階段。

主要功能

  • 支援多種 AI 框架:PyTorch、MLX、HuggingFace、DeepSpeed、Megatron-LM、JAX、XGBoost 等。
  • MPI 整合,用於 Kubernetes 上的多節點、多 GPU 分散式訓練。
  • 與 Kueue(拓撲感知排程與多叢集任務分派)、Slurm Bridge(混合 Kubernetes/Slurm 叢集排程)及 KAI Scheduler(GPU 感知排程)整合。
  • 重複使用 Kubernetes 原生建構區塊(如 JobSet 和 LeaderWorkerSet)進行工作負載編排。
  • 提供分散式資料快取,可將大規模資料以零複製方式直接串流至 GPU 節點。
  • 提供 Python SDK,包含 TrainJob 和 Runtime API,用於開發和微調 LLM。

使用情境

  • 在 Kubernetes 上進行大型語言模型(LLM)的可擴展微調。
  • AI 模型的超參數最佳化。
  • 跨多種框架和硬體配置的分散式訓練。
  • 需要 MPI 通訊的高效能運算(HPC)工作負載。

快速開始

使用以下 Helm 指令部署最新穩定版本: bash helm install kubeflow-trainer oci://ghcr.io/kubeflow/charts/kubeflow-trainer --namespace kubeflow-system --create-namespace --set runtimes.defaultEnabled=true 完整的安裝與使用說明請參閱官方 Kubeflow Trainer 文件。

授權與價格

本專案採用 Apache-2.0 授權,為開放原始碼(免費使用)。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/kubeflowtrainer.svg)](https://yunodb.com/tools/kubeflowtrainer?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/kubeflowtrainer?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/kubeflowtrainer.svg" alt="Featured on YunoDB" height="20"></a>