synthetic-data-generator
SDG 是一個專門設計用來生成高品質結構化表格資料的框架。
synthetic-data-generator 是什麼?
SDG 是一個專門設計用來生成高品質結構化表格資料的框架。categories[
synthetic-data-generator 概覽
這是什麼
Synthetic Data Generator (SDG) 是一個專門設計用來產生高品質結構化表格資料的框架。合成資料不包含任何敏感資訊,但保留了原始資料的基本特徵,因此不受 GDPR 和 ADPPA 等隱私法規的約束。
主要功能
- 支援多種統計資料合成演算法,並整合了基於 LLM 的合成資料生成模型。
- 針對大數據進行最佳化,有效降低記憶體消耗。
- 支援差分隱私、匿名化等方法來增強合成資料的安全性。
- 支援以插件套件的形式擴展模型、資料處理、資料連接器等。
- 包含資料處理器模組,可在餵入模型前轉換資料欄位格式(例如日期時間欄位),並在生成後反向轉換回原始格式。
- 支援自動偵測資料欄位關係,並允許指定關係。
使用情境
高品質的合成資料可以安全地用於各種領域,包括資料共享、模型訓練與除錯、系統開發與測試。
快速開始
bashdocker pull idsteam/sdgx:latest``````bashpip install sdgx``````bashgit clone [email protected]:hitsz-ids/synthetic-data-generator.gitpip install .# Or install from gitpip install git+https://github.com/hitsz-ids/synthetic-data-generator.git
授權與價格
授權:Apache-2.0。價格:開放原始碼(免費)。
內容整理自該專案公開的 README 與儲存庫資訊。