fg-data-profiling

一行程式碼的資料品質剖析與探索式資料分析,適用於 Pandas 與 Spark DataFrames。

fg-data-profiling 是什麼?

一行程式碼的資料品質剖析與探索式資料分析,適用於 Pandas 與 Spark DataFrames。

fg-data-profiling 概覽

這是什麼

fg-data-profiling 是一個開源的 Python 函式庫,提供一行程式碼即可對 Pandas 和 Spark DataFrame 進行探索式資料分析(EDA)與資料品質剖析。它擴展了 pandas df.describe() 的功能,能產生全面的分析報告,並可匯出為 HTML、JSON 格式,或在 Jupyter Notebook 中以 widget 顯示。此套件原名為 ydata-profiling,現已更名為 fg-data-profiling;舊套件將不再接收更新或錯誤修復。

主要功能

  • 型別推斷:自動偵測欄位的資料型別(類別、數值、日期等)
  • 警告:摘要資料中的問題與挑戰,例如缺失值、不準確性與偏態
  • 單變量分析:描述性統計(平均數、中位數、眾數)與分佈直方圖
  • 多變量分析:相關性、缺失值分析、重複列與變數配對互動視覺化
  • 時間序列分析:自相關、季節性、ACF 與 PACF 圖
  • 文字分析:最常見類別(大寫、小寫、分隔符)、文字系統(拉丁、西里爾)與區塊(ASCII、西里爾)
  • 檔案與圖片分析:檔案大小、建立日期、尺寸、截斷圖片指示與 EXIF 中繼資料
  • 資料集比較:一行程式碼即可比較兩個資料集
  • 彈性輸出格式:HTML 報告、JSON(適用於自動化系統)與 Jupyter Notebook widget

使用情境

fg-data-profiling 可用於比較同一資料集的多個版本、以一行程式碼剖析時間序列資料集、剖析大型資料集(需搭配設定建議)、處理敏感資料(產生注意隱私的報告)、補充資料集中繼資料與資料字典,以及自訂報告外觀。它也支援在 Jupyter Notebook 中以 widget 或嵌入 HTML 使用,並可透過命令列處理標準 CSV 檔案。

快速開始

安裝套件:pip install fg-data-profiling或透過 conda:conda install -c conda-forge fg-data-profiling產生剖析報告:pythonimport numpy as npimport pandas as pdfrom data_profiling import ProfileReportdf = pd.DataFrame(np.random.rand(100, 5), columns=[“a”, “b”, “c”, “d”, “e”])profile = ProfileReport(df, title=“Profiling Report”)

授權與價格

授權為 MIT。此套件為開源且免費使用。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/data-centric-ai-communityfg-data-profiling.svg)](https://yunodb.com/tools/data-centric-ai-communityfg-data-profiling?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/data-centric-ai-communityfg-data-profiling?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/data-centric-ai-communityfg-data-profiling.svg" alt="Featured on YunoDB" height="20"></a>