LMCache
LMCache:以最快的 KV 快取層為您的 LLM 加速
LMCache 是什麼?
LMCache:以最快的 KV 快取層為您的 LLM 加速。
LMCache 概覽
這是什麼
LMCache 是一個用於 LLM 推論的 KV 快取管理層。它將 KV 快取從暫時狀態轉變為可重複使用的 AI 原生知識,能夠持久儲存、跨多個服務引擎重複使用、透過可觀測性堆疊進行監控,並進行轉換以提升生成品質。LMCache 可減少首次輸出時間(TTFT)並提高吞吐量,特別適用於長上下文代理工作負載、多輪對話以及知識增強型應用(如 RAG)。它與供應商無關,可作為多種主流開源服務引擎、推論框架、硬體供應商、儲存系統及基礎設施提供者的 KV 快取層。
主要功能
- 引擎獨立部署:LMCache 以獨立守護行程執行,獨立於推論引擎行程管理 KV 快取,即使推論引擎崩潰,KV 快取也不會遺失(無命運共享)。
- 持久分層 KV 快取卸載與重複使用:將 KV 快取從 GPU 記憶體移至分層儲存層級(CPU 記憶體、本地儲存、遠端後端),可在請求、工作階段及引擎實例間重複使用,減少重複的預填充計算並改善 TTFT。
- 生產級 KV 快取可觀測性:提供豐富指標,包括 Kubernetes 健康監控、效能診斷、KV 快取特定指標(請求層級與 token 層級的前綴快取命中率、生命週期、請求層級 KV 快取效能)以及管理指標(使用者特定用量)。
- 可插拔儲存與傳輸後端:透過統一介面整合遠端儲存與 KV 傳輸後端,支援 CPU RAM、本地磁碟(SSD)、Redis/Valkey、Mooncake、InfiniStore、S3 相容物件儲存、NIXL 及 GDS。
- 非前綴 KV 重複使用:可在提示中的任何位置重複使用快取的 KV 區塊,超越前綴快取的限制,利用 CacheBlend 選擇性重新計算 token 以恢復品質。
- PD 分離與 KV 傳輸:支援透過 NVLink、RDMA 或 TCP 經由 NIXL 等傳輸層,將 KV 快取從預填充工作者傳輸至解碼工作者。
- 可插拔 KV 轉換:提供簡單介面,讓研究人員透過靈活的 SERDE 介面實作壓縮、token 丟棄及自訂序列化。
使用情境
LMCache 專為長上下文代理工作負載、多輪對話及知識增強型應用(如 RAG)而設計。它透過在請求與工作階段間重複使用 KV 快取來減少 TTFT 並提高吞吐量,適合需要低延遲與高效率的生產級 LLM 服務環境。
快速開始
透過 pip 安裝 LMCache: bash pip install lmcache 更多安裝選項、範例與部署指南,請參閱儲存庫 README。
授權與價格
LMCache 採用 Apache License 2.0 授權,為開源軟體。除授權條款外,未提及價格資訊。
內容整理自該專案公開的 README 與儲存庫資訊。