Daft

高效能資料引擎,適用於AI與多模態工作負載。可處理任何規模的圖片、音訊、影片及結構化資料。

Daft 是什麼?

高效能資料引擎,適用於AI與多模態工作負載。可處理任何規模的圖片、音訊、影片及結構化資料。

Daft 概覽

這是什麼

Daft 是一個高效能的資料引擎,專為 AI 與多模態工作負載設計。它能夠處理任意規模的圖片、音訊、影片與結構化資料。該引擎以 Python 為核心,底層使用 Rust,並可從本機擴展至基於 Ray 或 Kubernetes 的分散式叢集。採用 Apache 2.0 授權,為開源軟體。

主要功能

  • 原生多模態處理:在單一架構中同時處理圖片、音訊、影片、嵌入向量與結構化資料 - 內建 AI 操作:使用 OpenAI、Transformers 或自訂模型大規模執行 LLM 提示、生成嵌入向量與分類資料 - Python 原生、Rust 驅動:以 Python 為核心,底層使用 Rust 提供高效能,無需 JVM 複雜性 - 無縫擴展:從本機開始,可擴展至 Ray、Kubernetes 上的分散式叢集 - 通用連線能力:存取任何位置的資料(S3、GCS、Iceberg、Delta Lake、Hugging Face、Unity Catalog) - 開箱即用的可靠性:智慧記憶體管理與合理的預設值,消除設定困擾

使用情境

Daft 專為 AI 與多模態資料管線設計。使用情境包括:處理大量圖片、音訊、影片與結構化資料以進行機器學習;大規模執行 LLM 提示與生成嵌入向量;建立 AI 訓練的資料預處理工作流程;以及對多模態資料集進行分類或推論。

快速開始

使用 pip 安裝 Daft: pip install daft 需要 Python 3.10 或更高版本。如需使用真實電子商務資料集的快速入門,請參閱儲存庫的 README。

授權與價格

採用 Apache-2.0 授權。為開源軟體。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/eventual-incdaft.svg)](https://yunodb.com/tools/eventual-incdaft?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/eventual-incdaft?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/eventual-incdaft.svg" alt="Featured on YunoDB" height="20"></a>