xtuner
專為超大規模MoE模型打造的次世代訓練引擎
xtuner 是什麼?
專為超大規模MoE模型打造的次世代訓練引擎 次世代訓練引擎 專為超大規模MoE模型打造
xtuner 概覽
這是什麼
XTuner V1 是專為超大規模混合專家(MoE)模型設計的下一代大型語言模型訓練引擎。它針對當前學術研究中主流的 MoE 訓練場景進行最佳化,超越了傳統的 3D 平行訓練架構。該專案託管在 GitHub 上的 InternLM 組織下,並以 Apache License 2.0 授權釋出。
主要功能
- 無丟失訓練: 訓練 200B 規模的 MoE 模型無需專家平行;600B 模型僅需節點內專家平行。最佳化的平行策略使用比傳統 3D 方法更小的專家平行維度,實現更高效的無丟失訓練。
- 長序列支援: 透過先進的記憶體最佳化技術,在無需序列平行的情況下訓練 64k 序列長度的 200B MoE 模型。完整支援 DeepSpeed Ulysses 序列平行,最大序列長度可線性擴展。在長序列訓練期間,即使專家負載不平衡也能保持穩定性。
- 卓越效率: 支援高達 1T 參數的 MoE 訓練。首次實現 FSDP 訓練吞吐量超越傳統 3D 平行方案(針對 200B 以上規模的 MoE 模型)。在昇騰 A3 Supernode 上實現超越 NVIDIA H800 的訓練效率。
使用情境
XTuner V1 適用於超大規模 MoE 模型的預訓練、指令微調和強化學習。它支援多模態預訓練和監督式微調(用於視覺語言模型),以及 GRPO(群組相對策略最佳化)。路線圖包括未來對 MPO、DAPO 和多輪代理強化學習的支援。該引擎設計用於與 LMDeploy、vLLM 和 SGLang 等推理框架整合。
快速開始
請參閱儲存庫的 README 以取得安裝和快速入門說明。
授權與價格
本專案以 Apache License 2.0 授權釋出。定價類型為開源。
內容整理自該專案公開的 README 與儲存庫資訊。