TransformerEngine
一個用於在 NVIDIA GPU 上加速 Transformer 模型的程式庫,支援在 Hopper、Ada 和 Blackwell GPU 上使用 8 位元與 4 位元浮點數(FP8 和 FP4)精確度。
TransformerEngine 是什麼?
TransformerEngine 是一個用於在 NVIDIA GPU 上加速 Transformer 模型的程式庫,支援在 Hopper、Ada 和 Blackwell GPU 上使用 8 位元與 4 位元浮點數(FP8 和 FP4)精確度,以降低記憶體使用量並提升訓練與推理的效能。
TransformerEngine 概覽
這是什麼
Transformer Engine (TE) 是 NVIDIA 的函式庫,用於在 NVIDIA GPU 上加速 Transformer 模型訓練。它結合了最佳化的建構區塊與融合核心,並提供 PyTorch 和 JAX 的自動混合精度風格 API,讓低精度訓練無需重寫訓練堆疊即可採用。Transformer Engine 管理低精度配方所需的縮放因子、amax 歷史記錄和量化元資料。其模組涵蓋注意力、線性層、正規化、混合專家 (MoE) 以及大規模分散式訓練中使用的通訊操作。
主要功能
- 在 NVIDIA Hopper、Ada、Blackwell 和 Rubin GPU 上進行 FP8 訓練。
- 在 NVIDIA Blackwell GPU 上進行 MXFP8 和 NVFP4 訓練。
- 最佳化的注意力、GEMM、正規化、量化以及融合的 Transformer 和 MoE 模組。
- PyTorch 和 JAX API,具有 autocast 風格的上下文和可設定的低精度配方。
- 支援張量、序列、上下文和專家並行 (EP),包括通訊重疊。
- 在 NVIDIA Ampere 架構 GPU 及更高版本上進行 FP16 和 BF16 最佳化。
使用情境
在 NVIDIA GPU 上加速 Transformer 模型訓練與推理。用於包含混合專家 (MoE) 的大規模分散式訓練。已整合至熱門 LLM 框架,例如 Hugging Face Accelerate、Lightning、NVIDIA Megatron-LM、NVIDIA NeMo Megatron Bridge 和 Amazon SageMaker Model Parallel Library。
快速開始
安裝最新穩定版本: bash # PyTorch pip install --no-build-isolation 'transformer_engine[pytorch]' # JAX pip install --no-build-isolation 'transformer_engine[jax]' 若要使用即用環境,請使用 NVIDIA NGC 框架容器: bash docker run --gpus all -it --rm nvcr.io/nvidia/pytorch:-py3 docker run --gpus all -it --rm nvcr.io/nvidia/jax:-py3 繼續參閱 PyTorch 和 JAX 入門指南。有關先決條件、原始碼建置、環境變數和疑難排解,請參閱安裝指南。
授權與價格
Apache-2.0 授權。開放原始碼(免費)。
內容整理自該專案公開的 README 與儲存庫資訊。