datachain
非結構化資料的語境層:S3、GCS、Azure 上的類型化與版本化資料集
datachain 是什麼?
非結構化資料的語境層:S3、GCS、Azure 上的類型化與版本化資料集
datachain 概覽
這是什麼
DataChain 是一個 Python 函式庫,用於處理儲存在 S3、GCS、Azure 及本機儲存中的大型檔案集合。它可以對圖片、影片、音訊和感測器記錄執行讀取器和模型,然後將結果儲存為有型別、有版本的資料集。
主要功能
- 查詢已儲存的中繼資料,以找到相關的檔案、片段和剪輯。
- 從現有的標籤、嵌入和特徵建立新的訓練選取,無需重複原始處理。
- 編碼代理可以檢查已儲存的結果和產生程式碼,然後在新工作階段中繼續工作。
- 處理平行工作、下載重疊和檢查點。
- File 提供串流存取或可重複使用的本機快取;增量更新處理已變更的檔案並重複使用已儲存的結果。
- 支援 LeRobot 片段、MCAP 時間視窗和 WebDataset 樣本,使用相同的 Python API。
使用情境
- 訓練與評估:結合中繼資料和模型輸出,選取有用的範例,並將資料集匯出到訓練工具。
- 物理 AI 與機器人學:依感測器主題選取錄製內容,擷取影片幀,並為機器人學習策劃資料。
- 資料探索:調查模型失敗、找出罕見條件和資料覆蓋缺口,並從已儲存的結果回答新問題。
- 大型庫存:在讀取內容之前,使用儲存中繼資料發現數百萬個物件。
快速開始
安裝包含影片支援的 DataChain: bash pip install 'datachain[video]' 若要使用編碼代理,請安裝技能並在新的代理工作階段中啟動: bash datachain skill install --target claude --local # 或:--target codex, cursor, copilot, pi 更多詳細資訊和 Python 管線範例請參閱儲存庫 README。
授權與價格
DataChain 採用 Apache-2.0 授權,為開源軟體。
內容整理自該專案公開的 README 與儲存庫資訊。