llm-d
使用 Kubernetes 上的現代加速器,實現最先進的推論效能
llm-d 是什麼?
使用 Kubernetes 上的現代加速器,實現最先進的推論效能
llm-d 概覽
這是什麼
llm-d 是一個高效能的分散式推論服務堆疊,專為 Kubernetes 上的生產環境部署而最佳化。它是雲端原生運算基金會(CNCF)的沙盒專案,由 Red Hat、Google Cloud、IBM Research、CoreWeave 和 NVIDIA 共同創立。此專案旨在跨多種硬體加速器和基礎設施供應商,實現最先進的推論效能。
主要功能
- 智慧路由:透過前綴快取和負載感知平衡最大化效能,包含實驗性的預測延遲排程。
- 進階 KV 快取管理:透過分層卸載至 CPU 或磁碟,以及精確的全域 KV 快取狀態索引,增加多輪請求的有效工作集大小。
- 大型模型服務:使用預填/解碼分離和跨快速加速器互連的廣泛專家平行化,最佳化大型模型。
- 代理感知服務:原生支援多輪代理工作負載,具備會話感知路由、回合優先排程和原生 Responses API 狀態。
- 營運卓越:提供多租戶服務品質、零停機操作、SLO 感知自動擴展和端到端可觀測性。
- 批次處理:透過 OpenAI 相容的批次 API 和非同步處理,管理大規模離線推論。
使用情境
在 Kubernetes 上進行生產推論服務,具備多租戶服務品質。跨不同硬體加速器(NVIDIA、AMD、Intel GPU、Google TPU)服務大型語言模型。處理具備會話感知路由的代理工作負載。批次處理離線推論任務。為真實流量實現高吞吐量和低延遲。
快速開始
請參閱儲存庫 README 以取得安裝和快速入門指示。
授權與價格
此專案採用 Apache License 2.0 授權。它是開源軟體,未標明價格。
內容整理自該專案公開的 README 與儲存庫資訊。