data-juicer

資料處理用於且與基礎模型一起! 🍎 🍋 🌽 ➡️ ➡️🍸 🍹 🍷

data-juicer 是什麼?

資料處理用於且與基礎模型一起! 🍎 🍋 🌽 ➡️ ➡️🍸 🍹 🍷

data-juicer 概覽

這是什麼

Data-Juicer 是一個專為基礎模型設計的開源資料處理系統。它提供模組化、可組合的基礎設施,用於在 AI 生命週期中清理、合成和分析資料。該專案託管於 GitHub,並採用 Apache-2.0 授權。

主要功能

  • 超過 200 個運算子,支援文字、圖片、音訊、影片和多模態資料
  • 以配方為優先的 YAML 管道,可重現、版本化並共享
  • 可組合的運算子,能串聯成複雜的工作流程
  • 熱重載功能,無需重啟管道即可迭代運算子
  • 全光譜資料智慧,適用於基礎模型、代理系統和 RAG
  • 生產級效能,具備自動運算子融合、自適應平行化和 CUDA 加速
  • 內建可觀測性,提供除錯和稽核的追蹤功能

使用情境

Data-Juicer 用於去重網路規模的預訓練語料庫、整理代理互動軌跡、準備領域特定的 RAG 索引,以及處理預訓練、微調、強化學習和評估的資料。它能從單一筆電擴展到數千節點的叢集。

快速開始

bashuv pip install py-data-juicerdj-process --config demos/process_simple/process.yaml

授權與價格

本專案採用 Apache-2.0 開源授權。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/datajuicerdata-juicer.svg)](https://yunodb.com/tools/datajuicerdata-juicer?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/datajuicerdata-juicer?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/datajuicerdata-juicer.svg" alt="Featured on YunoDB" height="20"></a>