TransformerEngine

一個用於在 NVIDIA GPU 上加速 Transformer 模型的程式庫,支援在 Hopper、Ada 和 Blackwell GPU 上使用 8 位元與 4 位元浮點數(FP8 和 FP4)精確度。

TransformerEngine 是什麼?

TransformerEngine 是一個用於在 NVIDIA GPU 上加速 Transformer 模型的程式庫,支援在 Hopper、Ada 和 Blackwell GPU 上使用 8 位元與 4 位元浮點數(FP8 和 FP4)精確度,以降低記憶體使用量並提升訓練與推理的效能。

TransformerEngine 概覽

這是什麼

Transformer Engine (TE) 是 NVIDIA 的函式庫,用於在 NVIDIA GPU 上加速 Transformer 模型訓練。它結合了最佳化的建構區塊與融合核心,並提供 PyTorch 和 JAX 的自動混合精度風格 API,讓低精度訓練無需重寫訓練堆疊即可採用。Transformer Engine 管理低精度配方所需的縮放因子、amax 歷史記錄和量化元資料。其模組涵蓋注意力、線性層、正規化、混合專家 (MoE) 以及大規模分散式訓練中使用的通訊操作。

主要功能

  • 在 NVIDIA Hopper、Ada、Blackwell 和 Rubin GPU 上進行 FP8 訓練。
  • 在 NVIDIA Blackwell GPU 上進行 MXFP8 和 NVFP4 訓練。
  • 最佳化的注意力、GEMM、正規化、量化以及融合的 Transformer 和 MoE 模組。
  • PyTorch 和 JAX API,具有 autocast 風格的上下文和可設定的低精度配方。
  • 支援張量、序列、上下文和專家並行 (EP),包括通訊重疊。
  • 在 NVIDIA Ampere 架構 GPU 及更高版本上進行 FP16 和 BF16 最佳化。

使用情境

在 NVIDIA GPU 上加速 Transformer 模型訓練與推理。用於包含混合專家 (MoE) 的大規模分散式訓練。已整合至熱門 LLM 框架,例如 Hugging Face Accelerate、Lightning、NVIDIA Megatron-LM、NVIDIA NeMo Megatron Bridge 和 Amazon SageMaker Model Parallel Library。

快速開始

安裝最新穩定版本: bash # PyTorch pip install --no-build-isolation 'transformer_engine[pytorch]' # JAX pip install --no-build-isolation 'transformer_engine[jax]' 若要使用即用環境,請使用 NVIDIA NGC 框架容器: bash docker run --gpus all -it --rm nvcr.io/nvidia/pytorch:-py3 docker run --gpus all -it --rm nvcr.io/nvidia/jax:-py3 繼續參閱 PyTorch 和 JAX 入門指南。有關先決條件、原始碼建置、環境變數和疑難排解,請參閱安裝指南。

授權與價格

Apache-2.0 授權。開放原始碼(免費)。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/nvidiatransformerengine.svg)](https://yunodb.com/tools/nvidiatransformerengine?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/nvidiatransformerengine?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/nvidiatransformerengine.svg" alt="Featured on YunoDB" height="20"></a>