Daft
高效能資料引擎,適用於AI與多模態工作負載。可處理任何規模的圖片、音訊、影片及結構化資料。
Daft 是什麼?
高效能資料引擎,適用於AI與多模態工作負載。可處理任何規模的圖片、音訊、影片及結構化資料。
Daft 概覽
這是什麼
Daft 是一個高效能的資料引擎,專為 AI 與多模態工作負載設計。它能夠處理任意規模的圖片、音訊、影片與結構化資料。該引擎以 Python 為核心,底層使用 Rust,並可從本機擴展至基於 Ray 或 Kubernetes 的分散式叢集。採用 Apache 2.0 授權,為開源軟體。
主要功能
- 原生多模態處理:在單一架構中同時處理圖片、音訊、影片、嵌入向量與結構化資料 - 內建 AI 操作:使用 OpenAI、Transformers 或自訂模型大規模執行 LLM 提示、生成嵌入向量與分類資料 - Python 原生、Rust 驅動:以 Python 為核心,底層使用 Rust 提供高效能,無需 JVM 複雜性 - 無縫擴展:從本機開始,可擴展至 Ray、Kubernetes 上的分散式叢集 - 通用連線能力:存取任何位置的資料(S3、GCS、Iceberg、Delta Lake、Hugging Face、Unity Catalog) - 開箱即用的可靠性:智慧記憶體管理與合理的預設值,消除設定困擾
使用情境
Daft 專為 AI 與多模態資料管線設計。使用情境包括:處理大量圖片、音訊、影片與結構化資料以進行機器學習;大規模執行 LLM 提示與生成嵌入向量;建立 AI 訓練的資料預處理工作流程;以及對多模態資料集進行分類或推論。
快速開始
使用 pip 安裝 Daft: pip install daft 需要 Python 3.10 或更高版本。如需使用真實電子商務資料集的快速入門,請參閱儲存庫的 README。
授權與價格
採用 Apache-2.0 授權。為開源軟體。
內容整理自該專案公開的 README 與儲存庫資訊。