server
Triton 推論伺服器提供最佳化的雲端與邊緣推論解決方案。
server 是什麼?
Triton 推論伺服器提供最佳化的雲端與邊緣推論解決方案。
server 概覽
這是什麼
Triton Inference Server 是一個開放原始碼的推論服務軟體,旨在簡化 AI 推論流程。它讓團隊能夠部署來自多種深度學習與機器學習框架的 AI 模型,包括 TensorRT、PyTorch、ONNX、OpenVINO、Python、RAPIDS FIL 等。此伺服器支援在雲端、資料中心、邊緣及嵌入式裝置上,使用 NVIDIA GPU、x86 與 ARM CPU,或 AWS Inferentia 進行推論。
主要功能
- 支援多種深度學習框架
- 支援多種機器學習框架
- 並行模型執行
- 動態批次處理
- 序列批次處理與有狀態模型的隱含狀態管理
- 提供後端 API,允許新增自訂後端及前/後處理操作
- 支援以 Python 撰寫自訂後端(Python 後端)
- 使用集成或業務邏輯腳本(BLS)的模型管線
- 基於社群開發的 KServe 協定的 HTTP/REST 與 GRPC 推論協定
- C API 與 Java API 讓 Triton 可直接連結至應用程式,適用於邊緣及其他程序內使用案例
- 提供 GPU 使用率、伺服器吞吐量、伺服器延遲等指標
使用情境
Triton Inference Server 用於在雲端、資料中心、邊緣及嵌入式裝置的生產環境中部署 AI 模型。它支援即時推論、批次推論、集成以及音訊/視訊串流。此伺服器是 NVIDIA AI Enterprise 的一部分,這是一個加速資料科學管線並簡化生產 AI 開發與部署的軟體平台。
快速開始
bash# 步驟 1:建立範例模型儲存庫git clone -b r26.10 https://github.com/triton-inference-server/server.gitcd server/docs/examples./fetch_models.sh# 步驟 2:從 NGC Triton 容器啟動 tritondocker run --gpus=1 --rm --net=host -v ${PWD}/model_repository:/models nvcr.io/nvidia/tritonserver:26.10-py3 tritonserver --model-repository=/models --model-control-mode explicit --load-model densenet_onnx# 步驟 3:發送推論請求docker run -it --rm --net=host nvcr.io/nvidia/tritonserver:26.10-py3-sdk /workspace/install/bin/image_client -m densenet_onnx -c 3 -s INCEPTION /workspace/images/mug.jpg
授權與價格
此專案採用 BSD-3-Clause 授權條款。它是開放原始碼且免費使用。
內容整理自該專案公開的 README 與儲存庫資訊。