DreamLayer-Eval
DreamLayer Eval:開源基準測試,用於影像與影片擴散模型。自動化提示詞、種子與指標,實現可重現的結果。
DreamLayer-Eval 是什麼?
DreamLayer Eval:開源基準測試,用於影像與影片擴散模型。自動化提示詞、種子與指標,實現可重現的結果。來自 DreamLayer AI(dreamlayer.io)的研究專案。
DreamLayer-Eval 概覽
這是什麼
DreamLayer Eval 是一個開源的基準測試與評估平台,專為圖片生成模型與影片生成模型設計。它能自動化提示詞、隨機種子、評估指標、設定檔與可重現的執行記錄,讓研究人員與開發者能更快速且一致地比較模型品質。本工具在本機端執行,採用 React 前端、Flask 服務、SQLite 執行記錄儲存,並整合 ComfyUI 以支援圖片工作流程。
主要功能
- 自動化基準測試:一次執行即可涵蓋 N 個提示詞 × M 個種子 × K 個取樣器;指標在生成過程中即時計算。
- 預設可重現性:每次執行都會將完整設定與所有指標儲存至 SQLite,可透過 run_id 重播。
- 內建圖片與影片指標:圖片指標包括 CLIPScore、FID、LAION 美學評分、色彩和諧度、銳利度、YOLOv8 構圖 F1;影片指標包括 FVD、SSIM、PSNR、LPIPS、時間閃爍、主體/背景一致性、動作平滑度。
- 現已支援多模態:圖片與影片評估開箱即用;音訊基準測試已列入開發藍圖。
- 無參考與有參考模式:多數指標無需真實基準即可運作;加入參考影片可啟用 SSIM、PSNR、LPIPS;FID 則需參考資料集。
- 快取、增量、可比較:指標會依執行記錄快取;提供批次回填端點;可透過比較 API 並排檢視兩次執行。
- 研究人員友善匯出:可在自有 GPU 上本機執行;支援匯出 CSV 或 ZIP 報告套件。
使用情境
- AI 研究人員比較不同擴散模型在提示詞、種子與指標上的表現。
- 機器學習工程師評估圖片與影片生成品質。
- 實驗室與團隊為生成式模型建立內部基準測試工作流程。
- 開源模型創作者測試檢查點、LoRA 與工作流程。
- 開發人員整合自訂指標與評估管線。
- 對圖片生成模型輸出、影片生成模型輸出、提示詞與圖片對齊程度、圖片品質、美學品質、物件層級提示遵循度、影片時間一致性以及基於參考的相似度進行基準測試。
快速開始
bash # Linux/macOS ./install_linux_dependencies.sh # 或 ./install_mac_dependencies.sh ./start_dream_layer.sh # Windows (PowerShell) Set-ExecutionPolicy -Scope Process -ExecutionPolicy Bypass . .install_windows_dependencies.ps1 start_dream_layer.bat
授權與價格
授權條款:GPL-3.0。本專案為開源軟體,可免費使用。
內容整理自該專案公開的 README 與儲存庫資訊。