DataDesigner
🎨 NeMo Data Designer:從頭開始或從種子資料產生高品質的合成資料。
DataDesigner 是什麼?
🎨 NeMo Data Designer:從頭開始或從種子資料產生高品質的合成資料。
DataDesigner 概覽
這是什麼
Data Designer 是一個用於從頭開始或使用種子資料生成高品質合成資料集的框架。它超越了簡單的 LLM 提示,提供靈活的文字、結構化資料和影像生成,支援多模態工作流程、依賴感知的欄位關係、驗證和插件擴展。
主要功能
- 使用取樣器、LLM、影像模型或現有種子資料集生成多樣化的文字、結構化資料和影像 - 建立包含影像、音訊和影片情境的多模態工作流程 - 透過本機或遠端 MCP 伺服器將生成連接到外部工具,並擷取互動軌跡 - 透過依賴感知生成控制欄位之間的關係 - 使用 Python、SQL、自訂驗證器和 LLM 評審驗證和評分輸出 - 透過插件擴展 Data Designer,以獲得專門的資料來源、生成能力和處理步驟 - 從小型實驗到大型運行,預覽、恢復和監控生成
使用情境
Data Designer 可用於生成機器學習訓練和評估用的合成資料集、建立個人化客戶評論、生成檢索器訓練用的問答資料(透過 Retrieval SDG toolkit 插件),以及建立包含影像、音訊或影片情境的多模態合成資料。它適用於需要受控統計分佈、欄位間有意義關聯以及經過驗證的高品質輸出的場景。
快速開始
透過 pip 安裝 Data Designer: bash pip install data-designer 為支援的模型提供者(例如 NVIDIA、OpenAI、OpenRouter)設定 API 金鑰: bash export NVIDIA_API_KEY='your-api-key-here' 完整的 Python 範例請參閱儲存庫 README。
授權與價格
Data Designer 是開源軟體,採用 Apache License 2.0。
內容整理自該專案公開的 README 與儲存庫資訊。