datachain

非結構化資料的語境層:S3、GCS、Azure 上的類型化與版本化資料集

datachain 是什麼?

非結構化資料的語境層:S3、GCS、Azure 上的類型化與版本化資料集

datachain 概覽

這是什麼

DataChain 是一個 Python 函式庫,用於處理儲存在 S3、GCS、Azure 及本機儲存中的大型檔案集合。它可以對圖片、影片、音訊和感測器記錄執行讀取器和模型,然後將結果儲存為有型別、有版本的資料集。

主要功能

  • 查詢已儲存的中繼資料,以找到相關的檔案、片段和剪輯。
  • 從現有的標籤、嵌入和特徵建立新的訓練選取,無需重複原始處理。
  • 編碼代理可以檢查已儲存的結果和產生程式碼,然後在新工作階段中繼續工作。
  • 處理平行工作、下載重疊和檢查點。
  • File 提供串流存取或可重複使用的本機快取;增量更新處理已變更的檔案並重複使用已儲存的結果。
  • 支援 LeRobot 片段、MCAP 時間視窗和 WebDataset 樣本,使用相同的 Python API。

使用情境

  • 訓練與評估:結合中繼資料和模型輸出,選取有用的範例,並將資料集匯出到訓練工具。
  • 物理 AI 與機器人學:依感測器主題選取錄製內容,擷取影片幀,並為機器人學習策劃資料。
  • 資料探索:調查模型失敗、找出罕見條件和資料覆蓋缺口,並從已儲存的結果回答新問題。
  • 大型庫存:在讀取內容之前,使用儲存中繼資料發現數百萬個物件。

快速開始

安裝包含影片支援的 DataChain: bash pip install 'datachain[video]' 若要使用編碼代理,請安裝技能並在新的代理工作階段中啟動: bash datachain skill install --target claude --local # 或:--target codex, cursor, copilot, pi 更多詳細資訊和 Python 管線範例請參閱儲存庫 README。

授權與價格

DataChain 採用 Apache-2.0 授權,為開源軟體。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/datachain-aidatachain.svg)](https://yunodb.com/tools/datachain-aidatachain?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/datachain-aidatachain?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/datachain-aidatachain.svg" alt="Featured on YunoDB" height="20"></a>