Mooncake

Mooncake 是 Moonshot AI 旗下領先的大型語言模型服務 Kimi 的推理平台。

Mooncake 是什麼?

Mooncake 是 Moonshot AI 旗下領先的大型語言模型服務 Kimi 的推理平台。

Mooncake 概覽

這是什麼

Mooncake 是 Moonshot AI 旗下領先的大型語言模型服務 Kimi 的服務平台。它採用以 KVCache 為核心的分離式架構來服務大型語言模型。在實際工作負載下,Mooncake 的架構讓 Kimi 能夠在遵守服務水準協議 (SLO) 的同時,處理多 75% 的請求。此專案以 Apache-2.0 授權開源,並於 FAST 2025 獲得最佳論文獎。它已整合至 PyTorch 生態系統,並在 Kimi K2 等模型的生產環境中使用。

主要功能

  • 以 KVCache 為核心的分離式大型語言模型服務架構。
  • Mooncake Store:分散式 KVCache 後端,支援基於內容定址的 KV 快取池化與跨服務實例的前綴重用。
  • Mooncake Transfer Engine:透過 RDMA 實現跨裝置與跨機器的 KV 快取及其他張量的零拷貝傳輸。
  • 支援 PD(Prefill-Decode)與 EPD(Encode-Prefill-Decode)分離式架構。
  • 已整合多種推理引擎,包括 vLLM、SGLang、TensorRT-LLM、LMDeploy 等。
  • 提供 checkpoint-engine 後端,用於訓練與 rollout 工作者之間的同儕權重同步。

使用情境

  • 以高吞吐量與低延遲服務大型語言模型。
  • 分離式推理,將 prefill 與 decode 階段分散在不同節點上執行。
  • 多節點分散式強化學習訓練,需要高效的權重與隱藏狀態傳輸。
  • 多模態服務,實現編碼器與解碼器的分離。
  • 雲端原生部署,提供彈性、可擴展且高效能的服務。

快速開始

請參閱儲存庫的 README 以取得安裝與快速開始的說明。

授權與價格

採用 Apache-2.0 授權。此專案為開源且免費使用。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/kvcache-aimooncake.svg)](https://yunodb.com/tools/kvcache-aimooncake?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/kvcache-aimooncake?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/kvcache-aimooncake.svg" alt="Featured on YunoDB" height="20"></a>