tair-kvcache

阿里雲高效能KVCache系統,用於LLM推論,包含全域快取管理、推論模擬(HiSim)等元件。

tair-kvcache 是什麼?

阿里雲高效能KVCache系統,用於LLM推論,包含全域快取管理、推論模擬(HiSim)等元件。

tair-kvcache 概覽

這是什麼

Tair KVCache 是阿里雲針對大型語言模型(LLM)推論場景設計的高效能 KVCache 系統。它透過分散式記憶體池化與動態多層快取等技術,實現加速與效率提升,同時降低資源成本。目前已開源的元件包括全域 KVCache 管理系統 Tair KVCache Manager 與 LLM 推論模擬系統 Tair KVCache HiSim。

主要功能

  • Tair KVCache Manager 提供統一的 KVCache 元資料管理服務,包含全域元資料管理、KVCache 查詢與儲存容量管理。
  • 支援多種匹配邏輯:前綴匹配、滑動視窗匹配、KV 匹配等。
  • 實作兩階段寫入機制,確保資料可靠性。
  • 相容多種儲存後端(HF3FS、Mooncake、NFS 等),並根據可用性與水位動態選擇儲存後端。
  • 包含快取模擬與最佳化元件(Optimizer),可重播 KVCache 存取軌跡以模擬行為並引導參數最佳化。
  • Tair KVCache HiSim 是以 CPU 為基礎的高效能 LLM 推論模擬系統,無需 GPU 資源即可快速、低成本且高保真地預測關鍵效能指標(TTFT、TPOT、吞吐量)。
  • HiSim 目前支援 SGLang v0.5.6.post2 搭配 H20 GPU 上的 Qwen3 Dense 系列模型,預測誤差低於 5%。

使用情境

  • 為 LLM 推論叢集提供全域 KVCache 元資料管理。
  • 透過分散式記憶體池化與多層快取加速 LLM 推論。
  • 藉由重播真實工作負載軌跡,模擬並最佳化 LLM 推論效能(如 TTFT、TPOT、吞吐量)。
  • 在無需實際 GPU 資源的情況下,評估不同模型、硬體、推論引擎與配置。

快速開始

請參閱儲存庫 README 以取得安裝與快速開始說明。

授權與價格

採用 Apache-2.0 授權。開源軟體。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/alibabatair-kvcache.svg)](https://yunodb.com/tools/alibabatair-kvcache?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/alibabatair-kvcache?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/alibabatair-kvcache.svg" alt="Featured on YunoDB" height="20"></a>