kserve
標準化分散式生成式與預測式AI推論平台,可在Kubernetes上進行可擴展、多框架部署
kserve 是什麼?
標準化分散式生成式與預測式AI推論平台,可在Kubernetes上進行可擴展、多框架部署
kserve 概覽
這是什麼
KServe 是一個標準化的分散式生成式與預測式 AI 推論平台,可在 Kubernetes 上進行可擴展、多框架的部署。它是雲端原生運算基金會(CNCF)的孵化專案。
主要功能
- 生成式 AI:支援 vLLM 與 llm-d 的最佳化後端、OpenAI 相容推論協定、GPU 加速、模型快取、KV 快取卸載、基於請求的自動擴展,以及原生 Hugging Face 支援。
- 預測式 AI:多框架支援(TensorFlow、PyTorch、scikit-learn、XGBoost、ONNX 等)、預測器/轉換器/解釋器元件間的智慧路由、進階部署(金絲雀發布、推論管線、InferenceGraph 集成)、基於請求的自動擴展(可縮減至零)、內建模型可解釋性、進階監控(日誌記錄、異常/對抗/漂移偵測),以及透過縮減至零實現成本效益。
使用情境
KServe 用於在 Kubernetes 上部署與服務生成式 AI 模型(例如大型語言模型)與預測式 AI 模型(例如分類、回歸)。它支援需要高效能 GPU 服務、模型快取、金絲雀發布、推論管線,以及透過縮減至零節省成本的情境。
快速開始
請參閱儲存庫 README 以了解安裝選項:獨立安裝(標準 Kubernetes、Knative 無伺服器、ModelMesh 高擴展)或作為 Kubeflow 的一部分。快速安裝說明可在 KServe 文件中找到。
授權與價格
KServe 是開放原始碼軟體,採用 Apache-2.0 授權。
內容整理自該專案公開的 README 與儲存庫資訊。