Megatron-LM

正在進行的 Transformer 模型大規模訓練研究

Megatron-LM 是什麼?

正在進行的 Transformer 模型大規模訓練研究。開發人員工具。

Megatron-LM 概覽

這是什麼

Megatron-LM 是一個針對大規模 Transformer 模型訓練進行 GPU 最佳化的函式庫。此儲存庫包含兩個元件:Megatron-LM(附有預設訓練腳本的參考範例,適合研究團隊與快速實驗)以及 Megatron Core(提供 GPU 最佳化建構區塊的可組合函式庫,用於自訂訓練框架)。此外也包含 Megatron Bridge,可進行 Hugging Face 與 Megatron 之間的雙向檢查點轉換。

主要功能

  • 先進的平行化策略:張量、管線、資料、專家與上下文平行化。
  • 混合精度支援:FP16、BF16、FP8 與 FP4。
  • 模型架構包含 Transformer、混合模型與多模態模型。
  • 分散式檢查點儲存、載入與重新分片。
  • 推論引擎與伺服器。
  • 模型匯出(例如匯出至 TensorRT-LLM)。
  • 訓練後支援(量化、蒸餾、剪枝)。

使用情境

  • 研究團隊學習分散式訓練並進行快速實驗。
  • 框架開發者與機器學習工程師建構自訂訓練管線。
  • 大規模重現訓練執行並驗證檢查點恢復。

快速開始

建議使用 Python 3.12+ 與 PyTorch 2.6.0+。

從 PyPI 安裝:

uv pip install megatron-core

或從原始碼複製並安裝:

git clone https://github.com/NVIDIA/Megatron-LM.git
cd Megatron-LM
uv pip install -e .

若建置時記憶體不足,可設定 MAX_JOBS 限制平行編譯作業(例如 MAX_JOBS=4 uv pip install -e .)。

授權與價格

授權條款未明確說明(NOASSERTION)。此軟體為開放原始碼且免費。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/nvidiamegatron-lm.svg)](https://yunodb.com/tools/nvidiamegatron-lm?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/nvidiamegatron-lm?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/nvidiamegatron-lm.svg" alt="Featured on YunoDB" height="20"></a>