TensorRT

使用 TensorRT 的 NVIDIA GPU 之 PyTorch/TorchScript/FX 編譯器

TensorRT 是什麼?

使用 TensorRT 的 NVIDIA GPU 之 PyTorch/TorchScript/FX 編譯器

TensorRT 概覽

這是什麼

Torch-TensorRT 是一個針對 PyTorch、TorchScript 與 TorchFX 的編譯器,目標是使用 TensorRT 在 NVIDIA GPU 上執行。它旨在提升 PyTorch 模型在 NVIDIA 平台上的推論效能。此專案採用 BSD-3-Clause 授權條款,為開放原始碼軟體,程式碼託管於 GitHub 上的 pytorch/TensorRT。可透過 PyPI 安裝,或使用 NVIDIA NGC PyTorch Container。支援的平台包括 Linux AMD64、Linux SBSA、Windows(僅 Dynamo)以及 Linux Jetson。相依套件包含 Bazel 8.1.1、Libtorch 2.16.0.dev、CUDA 13.4 與 TensorRT 11.4.0.106。專案遵循棄用政策,在棄用通知發布後提供 6 個月的遷移期。

主要功能

  • 與即時執行相比,可將推論延遲加速高達 5 倍,僅需一行程式碼。
  • 提供名為 tensorrt 的 torch.compile 後端,支援即時編譯。
  • 提供匯出式工作流程,可提前最佳化並序列化模型,並在 PyTorch 或 C++(libtorch)環境中部署。
  • 支援 FP8 推論,以及最佳化 Stable Diffusion 與 Hugging Face LLM 等模型。
  • 包含用於解決圖形中斷並提升效能的工具(即將推出)。

使用情境

  • 在 NVIDIA GPU 上對任何 PyTorch 模型進行推論加速。
  • 在生產環境中使用 Python 或 C++ 執行時期部署最佳化後的模型。
  • 加速擴散模型、大型語言模型及其他深度學習工作負載。
  • 在相容硬體上以 FP8 精度執行模型以獲得更高效能。

快速開始

穩定版本可透過 PyPI 安裝: bash pip install torch-tensorrt 每日建置版本可從 PyTorch 套件索引取得: bash pip install --pre torch-tensorrt --index-url https://download.pytorch.org/whl/nightly/cu134 --extra-index-url https://pypi.org/simple 快速使用方式為搭配 tensorrt 後端使用 torch.compile: python import torch import torch_tensorrt model = MyModel().eval().cuda() x = torch.randn((1, 3, 224, 224)).cuda() optimized_model = torch.compile(model, backend='tensorrt') optimized_model(x) 若需匯出式最佳化,請使用 torch_tensorrt.compile 與 torch_tensorrt.save。更多細節請參閱儲存庫的 README。

授權與價格

此專案採用 BSD-3-Clause 授權條款。為開放原始碼且免費使用。價格資訊未提及;授權條款是唯一與成本相關的資訊。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/pytorchtensorrt.svg)](https://yunodb.com/tools/pytorchtensorrt?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/pytorchtensorrt?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/pytorchtensorrt.svg" alt="Featured on YunoDB" height="20"></a>