curvine

以 Rust 實作的 AI 原生、雲原生檔案系統。在物件儲存上提供完整 POSIX 支援,搭配多層分散式快取,適用於 AI 訓練、推論與代理。CNCF Sandbox 專案。

curvine 是什麼?

以 Rust 實作的 AI 原生、雲原生檔案系統。在物件儲存上提供完整 POSIX 支援,搭配多層分散式快取,適用於 AI 訓練、推論與代理。CNCF Sandbox 專案。

curvine 概覽

這是什麼

Curvine 是一個 AI 原生與雲端原生的檔案系統,它在雲端物件儲存之上提供高效能的 POSIX 檔案語意層,並整合了多層分散式快取。它專為大規模 AI 工作負載與 AI Agent 平台所設計,是 CNCF Sandbox 專案。

主要功能

  • AI 原生定位:優先支援 AI 訓練加速與 AI Agent 雲端原生儲存。
  • 多雲物件儲存後端:相容於多家雲端供應商的物件儲存服務,作為持久化底層。
  • 雲端原生 Kubernetes 整合:原生 CSI 驅動程式支援動態 PVC 配置、磁碟區擴充與 Helm 部署。
  • 多層快取:記憶體、SSD、HDD 之間自動分層,熱資料透明升級。
  • 透過 FUSE 的完整 POSIX 語意:將分散式快取資料呈現為本機檔案系統,支援 open、read、write、seek、rename、list 等操作。
  • S3 與 HDFS 協定相容:可透過 S3 與 HDFS 介面進行讀寫。
  • 巨量中繼資料容量:單一叢集可支援 50 億個小型檔案。

使用情境

  • 支援 Kubernetes 上數萬個有狀態 Agent Pod 的 AI Agent 平台儲存。
  • 透過在 GPU 節點附近快取訓練資料集與檢查點,加速 LLM 訓練。
  • 跨區域加速 LLM 模型成品分發。
  • 無需在本機複製資料,即可加速多模態資料湖存取。
  • 使用熱資料快取加速 OLAP 查詢。
  • 作為統一快取層進行多雲資料快取。

快速開始

請參閱專案儲存庫的 README 以取得安裝與快速開始指令。

授權與價格

Curvine 採用 Apache License 2.0 授權。此專案為開放原始碼。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/curvineiocurvine.svg)](https://yunodb.com/tools/curvineiocurvine?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/curvineiocurvine?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/curvineiocurvine.svg" alt="Featured on YunoDB" height="20"></a>