datasets

🤗 最大的即用型資料集中樞,為 AI 模型提供快速、易用且高效的資料操作工具

datasets 是什麼?

🤗 最大的即用型資料集中樞,為 AI 模型提供快速、易用且高效的資料操作工具

datasets 概覽

這是什麼

🤗 Datasets 是一個輕量級函式庫,提供一行指令的公開資料集載入器與高效的資料前處理功能。它能透過 load_dataset("rajpurkar/squad") 等單一指令,從 HuggingFace Datasets Hub 下載並前處理主要的公開資料集(包含影像、音訊、467 種語言的文字、3D 醫學影像、影片、AI 代理軌跡)。同時也支援前處理本機資料集,格式包括 CSV、JSON、JSONL、Parquet、HDF5、XML、文字、PNG、JPEG、WAV、MP3、PDF 與 NIfTI。

主要功能

  • 一行指令載入資料集:透過 load_dataset() 從 Hugging Face Hub 或本機檔案載入 AI 就緒的資料集。
  • 多種格式支援:原生支援 CSV、JSON、JSONL、Parquet、Arrow、XML、文字、Webdataset 等格式。
  • 多模態資料:內建支援文字、音訊、影像、影片、PDF 與 NIfTI(3D 醫學)資料。
  • 串流模式:無需下載即可串流資料集——設定 streaming=True 即可即時迭代資料(搭配 Xet 後端速度提升最高 100 倍)。
  • Apache Arrow 後端:零拷貝記憶體映射儲存,讓使用者不受 RAM 限制。
  • 智慧快取:自動重複使用快取結果,避免重複處理。
  • 多框架互通:原生轉換至 NumPy、Pandas、Polars、Arrow、PyTorch、TensorFlow、JAX 與 Spark。

使用情境

  • 載入並準備公開資料集,用於機器學習模型訓練或評估。
  • 透過映射、分詞、過濾等操作進行資料前處理。
  • 串流超過磁碟或記憶體容量的大型資料集。
  • 處理多模態資料,包括音訊、影像、影片、PDF 與醫學影像。
  • 從本機檔案(CSV、Parquet 等)或 Python 物件(字典、列表、pandas DataFrame、生成器)載入資料集。

快速開始

pip install datasets
from datasets import load_dataset

squad_dataset = load_dataset('rajpurkar/squad')
print(squad_dataset['train'][0])

更多細節請參閱儲存庫的 README。

授權與價格

採用 Apache-2.0 授權。開放原始碼且免費使用。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/huggingfacedatasets.svg)](https://yunodb.com/tools/huggingfacedatasets?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/huggingfacedatasets?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/huggingfacedatasets.svg" alt="Featured on YunoDB" height="20"></a>