BentoML

BentoML：最簡單的 AI 應用與模型部署方案 – 建構模型推論 API、工作佇列、LLM 應用、多模型管線等！

BentoML 是什麼？

BentoML 是最簡單的 AI 應用與模型部署方案，能協助您建立模型推論 API、工作佇列、LLM 應用以及多模型管線等功能。