serving

一個彈性高效能的機器學習模型服務系統

serving 是什麼?

一個彈性高效能的機器學習模型服務系統。Apache 授權 2.0。

serving 概覽

這是什麼

TensorFlow Serving 是一個靈活、高效能的機器學習模型服務系統,專為生產環境設計。它處理機器學習的推論環節,在模型訓練完成後管理其生命週期,並透過高效能的引用計數查找表為客戶端提供版本化存取。TensorFlow Serving 原生整合 TensorFlow 模型,但可擴展以服務其他類型的模型與資料。

主要功能

  • 可同時服務多個模型或多個版本的同一模型 - 提供 gRPC 與 HTTP 兩種推論端點 - 部署新模型版本時無需修改客戶端程式碼 - 支援新版本的灰度發布與 A/B 測試實驗性模型 - 因高效低負擔的實作,對推論時間增加極少延遲 - 內建排程器,可將個別推論請求分組為批次,在 GPU 上聯合執行,並提供可設定的延遲控制 - 支援多種服務物件:TensorFlow 模型、嵌入、詞彙表、特徵轉換,甚至非 TensorFlow 的機器學習模型

使用情境

TensorFlow Serving 用於在生產環境中服務機器學習模型。它支援新模型的灰度發布與 A/B 測試,可同時服務多個模型或多個版本,實現逐步上線與實驗,而不影響現有客戶端。

快速開始

最快的方式是使用 Docker。以下指令可在 60 秒內服務一個 TensorFlow 模型: bash # Download the TensorFlow Serving Docker image and repo docker pull tensorflow/serving git clone https://github.com/tensorflow/serving # Location of demo models TESTDATA=$(pwd)/serving/tensorflow_serving/servables/tensorflow/testdata # Start TensorFlow Serving container and open the REST API port docker run -t --rm -p 8501:8501 -v $TESTDATA/saved_model_half_plus_two_cpu:/models/half_plus_two -e MODEL_NAME=half_plus_two tensorflow/serving & # Query the model using the predict API curl -d 'instances: [1.0, 2.0, 5.0]' -X POST http://localhost:8501/v1/models/half_plus_two:predict # Returns => { predictions: [2.5, 3.0, 4.5] }

授權與價格

採用 Apache-2.0 授權。開放原始碼且免費使用。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/tensorflowserving.svg)](https://yunodb.com/tools/tensorflowserving?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/tensorflowserving?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/tensorflowserving.svg" alt="Featured on YunoDB" height="20"></a>