kserve

標準化分散式生成式與預測式AI推論平台,可在Kubernetes上進行可擴展、多框架部署

kserve 是什麼?

標準化分散式生成式與預測式AI推論平台,可在Kubernetes上進行可擴展、多框架部署

kserve 概覽

這是什麼

KServe 是一個標準化的分散式生成式與預測式 AI 推論平台,可在 Kubernetes 上進行可擴展、多框架的部署。它是雲端原生運算基金會(CNCF)的孵化專案。

主要功能

  • 生成式 AI:支援 vLLM 與 llm-d 的最佳化後端、OpenAI 相容推論協定、GPU 加速、模型快取、KV 快取卸載、基於請求的自動擴展,以及原生 Hugging Face 支援。
  • 預測式 AI:多框架支援(TensorFlow、PyTorch、scikit-learn、XGBoost、ONNX 等)、預測器/轉換器/解釋器元件間的智慧路由、進階部署(金絲雀發布、推論管線、InferenceGraph 集成)、基於請求的自動擴展(可縮減至零)、內建模型可解釋性、進階監控(日誌記錄、異常/對抗/漂移偵測),以及透過縮減至零實現成本效益。

使用情境

KServe 用於在 Kubernetes 上部署與服務生成式 AI 模型(例如大型語言模型)與預測式 AI 模型(例如分類、回歸)。它支援需要高效能 GPU 服務、模型快取、金絲雀發布、推論管線,以及透過縮減至零節省成本的情境。

快速開始

請參閱儲存庫 README 以了解安裝選項:獨立安裝(標準 Kubernetes、Knative 無伺服器、ModelMesh 高擴展)或作為 Kubeflow 的一部分。快速安裝說明可在 KServe 文件中找到。

授權與價格

KServe 是開放原始碼軟體,採用 Apache-2.0 授權。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/kservekserve.svg)](https://yunodb.com/tools/kservekserve?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/kservekserve?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/kservekserve.svg" alt="Featured on YunoDB" height="20"></a>