BentoML

BentoML:最簡單的 AI 應用與模型部署方案 – 建構模型推論 API、工作佇列、LLM 應用、多模型管線等!

BentoML 是什麼?

BentoML 是最簡單的 AI 應用與模型部署方案,能協助您建立模型推論 API、工作佇列、LLM 應用以及多模型管線等功能。

BentoML 概覽

這是什麼

BentoML 是一個 Python 函式庫,專為建置最佳化 AI 應用程式與模型推論的線上服務系統而設計。它能讓使用者僅用幾行程式碼與標準 Python 型別提示,將任何模型推論腳本轉換為 REST API 伺服器。該函式庫支援任何 ML 框架、模態與推論執行環境。

主要功能

  • 輕鬆為任何 AI/ML 模型建置 API,只需幾行程式碼。
  • Docker 容器化變簡單:透過設定檔管理環境、相依套件與模型版本;自動產生 Docker 映像檔。
  • 最大化 CPU/GPU 使用率,內建動態批次處理、模型平行化、多階段管線與多模型推論圖譜編排等最佳化功能。
  • 完全可自訂:實作自訂 API 或任務佇列,搭配自訂商業邏輯、模型推論與多模型組合。
  • 準備好上線:在本機開發、執行與除錯;透過 Docker 容器或 Kubernetes 無縫部署至正式環境。

使用情境

BentoML 用於建置模型推論 API、任務佇列、LLM 應用程式、多模型管線等。它支援多種模型,包括 LLM(例如 Llama 3.2、Mistral)、影像生成(例如 Stable Diffusion 3 Medium)、嵌入、音訊、電腦視覺,以及進階範例如函式呼叫、LangGraph 與 CrewAI。

快速開始

安裝 BentoML:# 需要 Python≥3.9pip install -U bentoml在 service.py 檔案中定義 API。在本機執行:pip install torch transformers # 本機執行所需的額外相依套件bentoml serve使用 Docker 部署:bentoml buildbentoml containerize summarization:latestdocker run --rm -p 3000:3000 summarization:latest

授權與價格

授權:Apache License 2.0。此專案為開放原始碼。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/bentomlbentoml.svg)](https://yunodb.com/tools/bentomlbentoml?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/bentomlbentoml?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/bentomlbentoml.svg" alt="Featured on YunoDB" height="20"></a>