LMCache

LMCache:以最快的 KV 快取層為您的 LLM 加速

LMCache 是什麼?

LMCache:以最快的 KV 快取層為您的 LLM 加速。

LMCache 概覽

這是什麼

LMCache 是一個用於 LLM 推論的 KV 快取管理層。它將 KV 快取從暫時狀態轉變為可重複使用的 AI 原生知識,能夠持久儲存、跨多個服務引擎重複使用、透過可觀測性堆疊進行監控,並進行轉換以提升生成品質。LMCache 可減少首次輸出時間(TTFT)並提高吞吐量,特別適用於長上下文代理工作負載、多輪對話以及知識增強型應用(如 RAG)。它與供應商無關,可作為多種主流開源服務引擎、推論框架、硬體供應商、儲存系統及基礎設施提供者的 KV 快取層。

主要功能

  • 引擎獨立部署:LMCache 以獨立守護行程執行,獨立於推論引擎行程管理 KV 快取,即使推論引擎崩潰,KV 快取也不會遺失(無命運共享)。
  • 持久分層 KV 快取卸載與重複使用:將 KV 快取從 GPU 記憶體移至分層儲存層級(CPU 記憶體、本地儲存、遠端後端),可在請求、工作階段及引擎實例間重複使用,減少重複的預填充計算並改善 TTFT。
  • 生產級 KV 快取可觀測性:提供豐富指標,包括 Kubernetes 健康監控、效能診斷、KV 快取特定指標(請求層級與 token 層級的前綴快取命中率、生命週期、請求層級 KV 快取效能)以及管理指標(使用者特定用量)。
  • 可插拔儲存與傳輸後端:透過統一介面整合遠端儲存與 KV 傳輸後端,支援 CPU RAM、本地磁碟(SSD)、Redis/Valkey、Mooncake、InfiniStore、S3 相容物件儲存、NIXL 及 GDS。
  • 非前綴 KV 重複使用:可在提示中的任何位置重複使用快取的 KV 區塊,超越前綴快取的限制,利用 CacheBlend 選擇性重新計算 token 以恢復品質。
  • PD 分離與 KV 傳輸:支援透過 NVLink、RDMA 或 TCP 經由 NIXL 等傳輸層,將 KV 快取從預填充工作者傳輸至解碼工作者。
  • 可插拔 KV 轉換:提供簡單介面,讓研究人員透過靈活的 SERDE 介面實作壓縮、token 丟棄及自訂序列化。

使用情境

LMCache 專為長上下文代理工作負載、多輪對話及知識增強型應用(如 RAG)而設計。它透過在請求與工作階段間重複使用 KV 快取來減少 TTFT 並提高吞吐量,適合需要低延遲與高效率的生產級 LLM 服務環境。

快速開始

透過 pip 安裝 LMCache: bash pip install lmcache 更多安裝選項、範例與部署指南,請參閱儲存庫 README。

授權與價格

LMCache 採用 Apache License 2.0 授權,為開源軟體。除授權條款外,未提及價格資訊。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/lmcachelmcache.svg)](https://yunodb.com/tools/lmcachelmcache?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/lmcachelmcache?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/lmcachelmcache.svg" alt="Featured on YunoDB" height="20"></a>