DreamLayer-Eval

DreamLayer Eval:開源基準測試,用於影像與影片擴散模型。自動化提示詞、種子與指標,實現可重現的結果。

DreamLayer-Eval 是什麼?

DreamLayer Eval:開源基準測試,用於影像與影片擴散模型。自動化提示詞、種子與指標,實現可重現的結果。來自 DreamLayer AI(dreamlayer.io)的研究專案。

DreamLayer-Eval 概覽

這是什麼

DreamLayer Eval 是一個開源的基準測試與評估平台,專為圖片生成模型與影片生成模型設計。它能自動化提示詞、隨機種子、評估指標、設定檔與可重現的執行記錄,讓研究人員與開發者能更快速且一致地比較模型品質。本工具在本機端執行,採用 React 前端、Flask 服務、SQLite 執行記錄儲存,並整合 ComfyUI 以支援圖片工作流程。

主要功能

  • 自動化基準測試:一次執行即可涵蓋 N 個提示詞 × M 個種子 × K 個取樣器;指標在生成過程中即時計算。
  • 預設可重現性:每次執行都會將完整設定與所有指標儲存至 SQLite,可透過 run_id 重播。
  • 內建圖片與影片指標:圖片指標包括 CLIPScore、FID、LAION 美學評分、色彩和諧度、銳利度、YOLOv8 構圖 F1;影片指標包括 FVD、SSIM、PSNR、LPIPS、時間閃爍、主體/背景一致性、動作平滑度。
  • 現已支援多模態:圖片與影片評估開箱即用;音訊基準測試已列入開發藍圖。
  • 無參考與有參考模式:多數指標無需真實基準即可運作;加入參考影片可啟用 SSIM、PSNR、LPIPS;FID 則需參考資料集。
  • 快取、增量、可比較:指標會依執行記錄快取;提供批次回填端點;可透過比較 API 並排檢視兩次執行。
  • 研究人員友善匯出:可在自有 GPU 上本機執行;支援匯出 CSV 或 ZIP 報告套件。

使用情境

  • AI 研究人員比較不同擴散模型在提示詞、種子與指標上的表現。
  • 機器學習工程師評估圖片與影片生成品質。
  • 實驗室與團隊為生成式模型建立內部基準測試工作流程。
  • 開源模型創作者測試檢查點、LoRA 與工作流程。
  • 開發人員整合自訂指標與評估管線。
  • 對圖片生成模型輸出、影片生成模型輸出、提示詞與圖片對齊程度、圖片品質、美學品質、物件層級提示遵循度、影片時間一致性以及基於參考的相似度進行基準測試。

快速開始

bash # Linux/macOS ./install_linux_dependencies.sh # 或 ./install_mac_dependencies.sh ./start_dream_layer.sh # Windows (PowerShell) Set-ExecutionPolicy -Scope Process -ExecutionPolicy Bypass . .install_windows_dependencies.ps1 start_dream_layer.bat

授權與價格

授權條款:GPL-3.0。本專案為開源軟體,可免費使用。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/thedesignfounderdreamlayer-eval.svg)](https://yunodb.com/tools/thedesignfounderdreamlayer-eval?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/thedesignfounderdreamlayer-eval?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/thedesignfounderdreamlayer-eval.svg" alt="Featured on YunoDB" height="20"></a>