datasets
TFDS 是一組可直接用於 TensorFlow、Jax 等框架的資料集集合。
datasets 是什麼?
TFDS 是一組可直接用於 TensorFlow、Jax 等框架的資料集集合。
datasets 概覽
這是什麼
TensorFlow Datasets(TFDS)是一個公開資料集的集合,這些資料集已準備好與 TensorFlow、Jax 及其他機器學習框架搭配使用。它將資料集提供為 tf.data.Datasets 物件,方便整合到資料管道中。該函式庫旨在透過提供載入、預處理和迭代資料的標準介面,簡化資料集處理。它是開源專案,採用 Apache 2.0 授權。
主要功能
- 將許多公開資料集提供為
tf.data.Datasets物件。 - 開箱即用,支援標準使用案例,操作簡單。
- 遵循最佳實踐以達到高效能,實現頂尖速度。
- 確保確定性與可重現性,所有使用者獲得相同順序的相同範例。
- 允許進階使用者進行細粒度控制以實現自訂。
- 文件包含教學、指南、所有可用資料集清單及 API 參考。
使用情境
- 載入並預處理標準機器學習資料集(例如 MNIST)以訓練模型。
- 為 TensorFlow、Jax 或其他框架建立輸入管道。
- 需要確定性資料載入的可重現研究。
- 需要簡單性與高效能的快速原型開發。
快速開始
python# !pip install tensorflow-datasetsimport tensorflow_datasets as tfdsimport tensorflow as tf# 建立 tf.data.Datasetds = tfds.load('mnist', split='train', as_supervised=True, shuffle_files=True)# 建立輸入管道ds = ds.shuffle(1000).batch(128).prefetch(10).take(5)for image, label in ds: pass
授權與價格
TensorFlow Datasets 是開源專案,採用 Apache 2.0 授權。價格未說明;它是一個開源專案。
內容整理自該專案公開的 README 與儲存庫資訊。