VAR

VAR 概覽

這是什麼

VAR 是 NeurIPS 2024 最佳論文「Visual Autoregressive Modeling: Scalable Image Generation via Next-Scale Prediction」的官方實作。它提出一種新的自迴歸影像生成範式，採用由粗到細的「下一尺度預測」，而非傳統的掃描列「下一個 token 預測」。此倉庫提供一個極簡、易用且先進的自迴歸影像生成程式碼庫，並包含多個預訓練模型（參數量從 3.1 億到 23 億），能產生 256×256 或 512×512 解析度的影像。該專案也報告了 VAR 變壓器中的冪律縮放定律，並首次展示 GPT 風格的自迴歸模型在視覺生成上超越擴散模型。

主要功能

• VAR 將影像的自迴歸學習重新定義為下一尺度預測（由粗到細），有別於傳統的下一 token 預測。
• 首次讓 GPT 風格的自迴歸模型在影像生成基準上超越擴散模型。
• 在 VAR 變壓器中觀察到冪律縮放定律，表示模型效能可隨參數量可預測地提升。
• 提供預訓練模型 d16（3.1 億）、d20（6 億）、d24（10 億）、d30（20 億）、d30-re（20 億）及 d36（23 億），在 ImageNet 256×256 或 512×512 上的 FID 分數介於 1.80 至 3.55。
• 展示零樣本泛化能力。程式碼庫支援中斷訓練後自動恢復，並可選用 flash-attention 與 xformers 加速注意力計算。

使用情境

• 在 ImageNet（256×256 或 512×512）上訓練與評估自迴歸影像生成模型。
• 重現 NeurIPS 2024 最佳論文結果，並探索縮放定律行為。
• 使用預訓練 VAR 模型進行零樣本推論與 FID 評估。
• 將 VAR 框架擴展到文字生成影像或文字生成影片（相關專案：Infinity、InfinityStar）。

快速開始

｜請參閱倉庫 README 以取得完整的安裝與訓練說明。基本步驟： ｜1. 安裝 torch >= 2.0.0。 ｜2. 透過 pip3 install -r requirements.txt 安裝其他 pip 套件。 ｜3. 將 ImageNet 資料集準備好，放置在 /path/to/imagenet，並具有預期的資料夾結構。 ｜4.（選用）安裝並編譯 flash-attn 與 xformers 以加速注意力計算。 ｜VAR-d16 在 256×256 上的訓練指令範例： ｜shell ｜torchrun --nproc_per_node=8 --nnodes=... --node_rank=... --master_addr=... --master_port=... train.py ｜ --depth=16 --bs=768 --ep=200 --fp16=1 --alng=1e-3 --wpe=0.1 ｜

授權與價格

此倉庫採用 MIT 授權。為開源軟體，未標明價格。

內容整理自該專案公開的 README 與儲存庫資訊。