TransformerEngine
一個用於在 NVIDIA GPU 上加速 Transformer 模型的程式庫，支援在 Hopper、Ada 和 Blackwell GPU 上使用 8 位元與 4 位元浮點數（FP8 和 FP4）精確度。
TransformerEngine 是什麼？
TransformerEngine 是一個用於在 NVIDIA GPU 上加速 Transformer 模型的程式庫，支援在 Hopper、Ada 和 Blackwell GPU 上使用 8 位元與 4 位元浮點數（FP8 和 FP4）精確度，以降低記憶體使用量並提升訓練與推理的效能。
