Megatron-LM
正在進行的 Transformer 模型大規模訓練研究
Megatron-LM 是什麼?
正在進行的 Transformer 模型大規模訓練研究。開發人員工具。
Megatron-LM 概覽
這是什麼
Megatron-LM 是一個針對大規模 Transformer 模型訓練進行 GPU 最佳化的函式庫。此儲存庫包含兩個元件:Megatron-LM(附有預設訓練腳本的參考範例,適合研究團隊與快速實驗)以及 Megatron Core(提供 GPU 最佳化建構區塊的可組合函式庫,用於自訂訓練框架)。此外也包含 Megatron Bridge,可進行 Hugging Face 與 Megatron 之間的雙向檢查點轉換。
主要功能
- 先進的平行化策略:張量、管線、資料、專家與上下文平行化。
- 混合精度支援:FP16、BF16、FP8 與 FP4。
- 模型架構包含 Transformer、混合模型與多模態模型。
- 分散式檢查點儲存、載入與重新分片。
- 推論引擎與伺服器。
- 模型匯出(例如匯出至 TensorRT-LLM)。
- 訓練後支援(量化、蒸餾、剪枝)。
使用情境
- 研究團隊學習分散式訓練並進行快速實驗。
- 框架開發者與機器學習工程師建構自訂訓練管線。
- 大規模重現訓練執行並驗證檢查點恢復。
快速開始
建議使用 Python 3.12+ 與 PyTorch 2.6.0+。
從 PyPI 安裝:
uv pip install megatron-core
或從原始碼複製並安裝:
git clone https://github.com/NVIDIA/Megatron-LM.git
cd Megatron-LM
uv pip install -e .
若建置時記憶體不足,可設定 MAX_JOBS 限制平行編譯作業(例如 MAX_JOBS=4 uv pip install -e .)。
授權與價格
授權條款未明確說明(NOASSERTION)。此軟體為開放原始碼且免費。
內容整理自該專案公開的 README 與儲存庫資訊。