curvine
以 Rust 實作的 AI 原生、雲原生檔案系統。在物件儲存上提供完整 POSIX 支援,搭配多層分散式快取,適用於 AI 訓練、推論與代理。CNCF Sandbox 專案。
curvine 是什麼?
以 Rust 實作的 AI 原生、雲原生檔案系統。在物件儲存上提供完整 POSIX 支援,搭配多層分散式快取,適用於 AI 訓練、推論與代理。CNCF Sandbox 專案。
curvine 概覽
這是什麼
Curvine 是一個 AI 原生與雲端原生的檔案系統,它在雲端物件儲存之上提供高效能的 POSIX 檔案語意層,並整合了多層分散式快取。它專為大規模 AI 工作負載與 AI Agent 平台所設計,是 CNCF Sandbox 專案。
主要功能
- AI 原生定位:優先支援 AI 訓練加速與 AI Agent 雲端原生儲存。
- 多雲物件儲存後端:相容於多家雲端供應商的物件儲存服務,作為持久化底層。
- 雲端原生 Kubernetes 整合:原生 CSI 驅動程式支援動態 PVC 配置、磁碟區擴充與 Helm 部署。
- 多層快取:記憶體、SSD、HDD 之間自動分層,熱資料透明升級。
- 透過 FUSE 的完整 POSIX 語意:將分散式快取資料呈現為本機檔案系統,支援 open、read、write、seek、rename、list 等操作。
- S3 與 HDFS 協定相容:可透過 S3 與 HDFS 介面進行讀寫。
- 巨量中繼資料容量:單一叢集可支援 50 億個小型檔案。
使用情境
- 支援 Kubernetes 上數萬個有狀態 Agent Pod 的 AI Agent 平台儲存。
- 透過在 GPU 節點附近快取訓練資料集與檢查點,加速 LLM 訓練。
- 跨區域加速 LLM 模型成品分發。
- 無需在本機複製資料,即可加速多模態資料湖存取。
- 使用熱資料快取加速 OLAP 查詢。
- 作為統一快取層進行多雲資料快取。
快速開始
請參閱專案儲存庫的 README 以取得安裝與快速開始指令。
授權與價格
Curvine 採用 Apache License 2.0 授權。此專案為開放原始碼。
內容整理自該專案公開的 README 與儲存庫資訊。