onnxruntime
ONNX Runtime:跨平台、高效能的機器學習推論與訓練加速器
onnxruntime 是什麼?
ONNX Runtime:跨平台、高效能的機器學習推論與訓練加速器
onnxruntime 概覽
這是什麼
ONNX Runtime 是一個跨平台的推論與訓練機器學習加速器。它支援來自深度學習框架(如 PyTorch 和 TensorFlow/Keras)以及傳統機器學習函式庫(包括 scikit-learn、LightGBM 和 XGBoost)的模型。ONNX Runtime 相容於不同的硬體、驅動程式和作業系統,並透過在適當時機利用硬體加速器以及圖形最佳化與轉換,提供最佳效能。
主要功能
- 支援來自 PyTorch、TensorFlow/Keras、scikit-learn、LightGBM、XGBoost 等模型的推論與訓練加速。
- 相容於多種硬體、驅動程式和作業系統。
- 利用硬體加速器(例如 NVIDIA GPU)以達到最佳效能。
- 套用圖形最佳化與轉換以提升效率。
- 針對 Transformer 模型,在多重節點 NVIDIA GPU 上進行訓練加速,只需在現有 PyTorch 訓練腳本中新增一行程式碼。
使用情境
- 在需要低延遲和高吞吐量的生產環境中部署機器學習模型進行推論。
- 在多重節點 GPU 叢集上加速 Transformer 模型的訓練。
- 在各種硬體平台(CPU、GPU 等)上執行模型,無需修改程式碼。
快速開始
請參閱儲存庫的 README 以取得安裝說明和使用文件。該專案在 onnxruntime.ai 提供一般資訊,並在 onnxruntime.ai/docs 提供使用文件。
授權與價格
此專案採用 MIT 授權條款。它是開放原始碼且免費使用。
內容整理自該專案公開的 README 與儲存庫資訊。