LoongForge
一個高效能框架,用於在NVIDIA GPU和Kunlun XPU上訓練LLM、VLM、擴散模型和具身模型。支援Pi0.5、GR00T-N1.7、FastWAM、Cosm
LoongForge 是什麼?
一個高效能框架,用於在NVIDIA GPU和Kunlun XPU上訓練LLM、VLM、擴散模型和具身模型。支援Pi0.5、GR00T-N1.7、FastWAM、Cosmos3、DreamZero、DeepSeek-V4、GLM-5.3、Kimi-K3等。
LoongForge 概覽
這是什麼
LoongForge 是由百度智能雲百舸團隊開發的開源訓練框架,旨在為主流的大型語言模型(LLM)、視覺語言模型(VLM)、擴散模型(diffusion)以及具身模型(embodied)提供更快速的訓練。該框架基於 Megatron-LM 和 torch-native 後端,並針對訓練速度進行深度優化,同時保持訓練損失與基準線一致。支援預訓練、中期訓練、SFT 和 LoRA。LoongForge 源自 AIAK-Training-LLM,該框架曾為企業客戶的專有模型和多個開源專案提供支援,生產環境運行規模達 5,000+ XPU。
主要功能
- 高效能:深度優化訓練速度,且訓練損失與基準線保持一致。
- 易於使用:提供 40 多個開源模型的即用配置和啟動腳本,以及檢查點轉換和資料預處理工具。
- 經過生產驗證:源自 AIAK-Training-LLM,支援企業客戶的專有模型和多個開源專案。
- 多後端架構:Megatron 後端用於 LLM、VLM 和擴散模型;torch-native 後端用於具身模型(VLA 和 WAM)。
- 支援 MoE 並行、按組件異質並行、長序列優化以及 FP8 通訊優化。
- 具身模型支援:統一資料載入、針對各模型的深度優化、多種分散式策略(DDP、ZeRO-1、FSDP、HSDP),以及統一的模擬器評估。
使用情境
訓練大型語言模型(LLM)、視覺語言模型(VLM)、擴散模型以及具身模型(VLA 和 WAM)。該框架適用於預訓練、中期訓練、監督式微調(SFT)和基於 LoRA 的微調。可用於 NVIDIA GPU 和 Kunlun XPU。
快速開始
請參閱儲存庫的 README 以取得安裝和快速入門說明。
授權與價格
採用 Apache-2.0 授權。該專案為開源且免費使用。
內容整理自該專案公開的 README 與儲存庫資訊。