tair-kvcache
阿里雲高效能KVCache系統,用於LLM推論,包含全域快取管理、推論模擬(HiSim)等元件。
tair-kvcache 是什麼?
阿里雲高效能KVCache系統,用於LLM推論,包含全域快取管理、推論模擬(HiSim)等元件。
tair-kvcache 概覽
這是什麼
Tair KVCache 是阿里雲針對大型語言模型(LLM)推論場景設計的高效能 KVCache 系統。它透過分散式記憶體池化與動態多層快取等技術,實現加速與效率提升,同時降低資源成本。目前已開源的元件包括全域 KVCache 管理系統 Tair KVCache Manager 與 LLM 推論模擬系統 Tair KVCache HiSim。
主要功能
- Tair KVCache Manager 提供統一的 KVCache 元資料管理服務,包含全域元資料管理、KVCache 查詢與儲存容量管理。
- 支援多種匹配邏輯:前綴匹配、滑動視窗匹配、KV 匹配等。
- 實作兩階段寫入機制,確保資料可靠性。
- 相容多種儲存後端(HF3FS、Mooncake、NFS 等),並根據可用性與水位動態選擇儲存後端。
- 包含快取模擬與最佳化元件(Optimizer),可重播 KVCache 存取軌跡以模擬行為並引導參數最佳化。
- Tair KVCache HiSim 是以 CPU 為基礎的高效能 LLM 推論模擬系統,無需 GPU 資源即可快速、低成本且高保真地預測關鍵效能指標(TTFT、TPOT、吞吐量)。
- HiSim 目前支援 SGLang v0.5.6.post2 搭配 H20 GPU 上的 Qwen3 Dense 系列模型,預測誤差低於 5%。
使用情境
- 為 LLM 推論叢集提供全域 KVCache 元資料管理。
- 透過分散式記憶體池化與多層快取加速 LLM 推論。
- 藉由重播真實工作負載軌跡,模擬並最佳化 LLM 推論效能(如 TTFT、TPOT、吞吐量)。
- 在無需實際 GPU 資源的情況下,評估不同模型、硬體、推論引擎與配置。
快速開始
請參閱儲存庫 README 以取得安裝與快速開始說明。
授權與價格
採用 Apache-2.0 授權。開源軟體。
內容整理自該專案公開的 README 與儲存庫資訊。