llm-d

使用 Kubernetes 上的現代加速器,實現最先進的推論效能

llm-d 是什麼?

使用 Kubernetes 上的現代加速器,實現最先進的推論效能

llm-d 概覽

這是什麼

llm-d 是一個高效能的分散式推論服務堆疊,專為 Kubernetes 上的生產環境部署而最佳化。它是雲端原生運算基金會(CNCF)的沙盒專案,由 Red Hat、Google Cloud、IBM Research、CoreWeave 和 NVIDIA 共同創立。此專案旨在跨多種硬體加速器和基礎設施供應商,實現最先進的推論效能。

主要功能

  • 智慧路由:透過前綴快取和負載感知平衡最大化效能,包含實驗性的預測延遲排程。
  • 進階 KV 快取管理:透過分層卸載至 CPU 或磁碟,以及精確的全域 KV 快取狀態索引,增加多輪請求的有效工作集大小。
  • 大型模型服務:使用預填/解碼分離和跨快速加速器互連的廣泛專家平行化,最佳化大型模型。
  • 代理感知服務:原生支援多輪代理工作負載,具備會話感知路由、回合優先排程和原生 Responses API 狀態。
  • 營運卓越:提供多租戶服務品質、零停機操作、SLO 感知自動擴展和端到端可觀測性。
  • 批次處理:透過 OpenAI 相容的批次 API 和非同步處理,管理大規模離線推論。

使用情境

在 Kubernetes 上進行生產推論服務,具備多租戶服務品質。跨不同硬體加速器(NVIDIA、AMD、Intel GPU、Google TPU)服務大型語言模型。處理具備會話感知路由的代理工作負載。批次處理離線推論任務。為真實流量實現高吞吐量和低延遲。

快速開始

請參閱儲存庫 README 以取得安裝和快速入門指示。

授權與價格

此專案採用 Apache License 2.0 授權。它是開源軟體,未標明價格。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/llm-dllm-d.svg)](https://yunodb.com/tools/llm-dllm-d?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/llm-dllm-d?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/llm-dllm-d.svg" alt="Featured on YunoDB" height="20"></a>