Mooncake
Mooncake 是 Moonshot AI 旗下領先的大型語言模型服務 Kimi 的推理平台。
Mooncake 是什麼?
Mooncake 是 Moonshot AI 旗下領先的大型語言模型服務 Kimi 的推理平台。
Mooncake 概覽
這是什麼
Mooncake 是 Moonshot AI 旗下領先的大型語言模型服務 Kimi 的服務平台。它採用以 KVCache 為核心的分離式架構來服務大型語言模型。在實際工作負載下,Mooncake 的架構讓 Kimi 能夠在遵守服務水準協議 (SLO) 的同時,處理多 75% 的請求。此專案以 Apache-2.0 授權開源,並於 FAST 2025 獲得最佳論文獎。它已整合至 PyTorch 生態系統,並在 Kimi K2 等模型的生產環境中使用。
主要功能
- 以 KVCache 為核心的分離式大型語言模型服務架構。
- Mooncake Store:分散式 KVCache 後端,支援基於內容定址的 KV 快取池化與跨服務實例的前綴重用。
- Mooncake Transfer Engine:透過 RDMA 實現跨裝置與跨機器的 KV 快取及其他張量的零拷貝傳輸。
- 支援 PD(Prefill-Decode)與 EPD(Encode-Prefill-Decode)分離式架構。
- 已整合多種推理引擎,包括 vLLM、SGLang、TensorRT-LLM、LMDeploy 等。
- 提供 checkpoint-engine 後端,用於訓練與 rollout 工作者之間的同儕權重同步。
使用情境
- 以高吞吐量與低延遲服務大型語言模型。
- 分離式推理,將 prefill 與 decode 階段分散在不同節點上執行。
- 多節點分散式強化學習訓練,需要高效的權重與隱藏狀態傳輸。
- 多模態服務,實現編碼器與解碼器的分離。
- 雲端原生部署,提供彈性、可擴展且高效能的服務。
快速開始
請參閱儲存庫的 README 以取得安裝與快速開始的說明。
授權與價格
採用 Apache-2.0 授權。此專案為開源且免費使用。
內容整理自該專案公開的 README 與儲存庫資訊。