server

Triton 推論伺服器提供最佳化的雲端與邊緣推論解決方案。

server 是什麼?

Triton 推論伺服器提供最佳化的雲端與邊緣推論解決方案。

server 概覽

這是什麼

Triton Inference Server 是一個開放原始碼的推論服務軟體,旨在簡化 AI 推論流程。它讓團隊能夠部署來自多種深度學習與機器學習框架的 AI 模型,包括 TensorRT、PyTorch、ONNX、OpenVINO、Python、RAPIDS FIL 等。此伺服器支援在雲端、資料中心、邊緣及嵌入式裝置上,使用 NVIDIA GPU、x86 與 ARM CPU,或 AWS Inferentia 進行推論。

主要功能

  • 支援多種深度學習框架
  • 支援多種機器學習框架
  • 並行模型執行
  • 動態批次處理
  • 序列批次處理與有狀態模型的隱含狀態管理
  • 提供後端 API,允許新增自訂後端及前/後處理操作
  • 支援以 Python 撰寫自訂後端(Python 後端)
  • 使用集成或業務邏輯腳本(BLS)的模型管線
  • 基於社群開發的 KServe 協定的 HTTP/REST 與 GRPC 推論協定
  • C API 與 Java API 讓 Triton 可直接連結至應用程式,適用於邊緣及其他程序內使用案例
  • 提供 GPU 使用率、伺服器吞吐量、伺服器延遲等指標

使用情境

Triton Inference Server 用於在雲端、資料中心、邊緣及嵌入式裝置的生產環境中部署 AI 模型。它支援即時推論、批次推論、集成以及音訊/視訊串流。此伺服器是 NVIDIA AI Enterprise 的一部分,這是一個加速資料科學管線並簡化生產 AI 開發與部署的軟體平台。

快速開始

bash# 步驟 1:建立範例模型儲存庫git clone -b r26.10 https://github.com/triton-inference-server/server.gitcd server/docs/examples./fetch_models.sh# 步驟 2:從 NGC Triton 容器啟動 tritondocker run --gpus=1 --rm --net=host -v ${PWD}/model_repository:/models nvcr.io/nvidia/tritonserver:26.10-py3 tritonserver --model-repository=/models --model-control-mode explicit --load-model densenet_onnx# 步驟 3:發送推論請求docker run -it --rm --net=host nvcr.io/nvidia/tritonserver:26.10-py3-sdk /workspace/install/bin/image_client -m densenet_onnx -c 3 -s INCEPTION /workspace/images/mug.jpg

授權與價格

此專案採用 BSD-3-Clause 授權條款。它是開放原始碼且免費使用。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/triton-inference-serverserver.svg)](https://yunodb.com/tools/triton-inference-serverserver?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/triton-inference-serverserver?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/triton-inference-serverserver.svg" alt="Featured on YunoDB" height="20"></a>