YuE
YuE2: 前沿音樂生成,具備符號規劃、零樣本翻唱與代理式音樂編輯功能。
YuE 是什麼?
YuE2: 前沿音樂生成,具備符號規劃、零樣本翻唱與代理式音樂編輯功能。
YuE 概覽
這是什麼
YuE2 是一個統合符號與音訊生成的音樂生成系統。它接收歌詞與風格提示,先寫出旋律與和弦的計劃,再將該計劃實現為包含人聲與伴奏的完整歌曲。它是 YuE 的後繼版本,其程式碼與授權條款保留在 YuE-v1 分支中。
主要功能
- 前沿品質:在 WildSongBench 上與 Suno v5/v6 競爭;最佳 8 選 1 可達 6.9632 SongBench 平均分。
- 透過符號規劃的白盒音樂生成:旋律與和弦成為可檢視與編輯的明確控制項。
- 零樣本翻唱與智能體編輯:轉錄來源錄音並以新風格重新詮釋,或透過對話修改歌曲的樂譜、編曲與歌詞。
- 單一 AR–NAR Mixture-of-Transformers 骨幹:自迴歸預測樂譜與語義標記,再以流匹配生成聲學潛變量。
- 分階段的 Python API:plan() → generate_semantic() → synthesize() → decode()。
- 智能體技能(yue2-music)可從描述、ABC 樂譜或參考錄音生成器樂與翻唱。
使用情境
- 從歌詞與風格提示創作完整歌曲。
- 翻唱歌曲:使用 SheetSage2 轉錄來源錄音,提供新歌詞或目標風格,生成新的詮釋版本。
- 編輯作品:匯出計劃,修改和聲、旋律、速度或曲式等音樂細節,再重新渲染編輯後的樂譜。
- 智能體編輯:智能體可透過對話逐步調整歌曲。
快速開始
bash git clone https://github.com/multimodal-art-projection/YuE.git cd YuE python3.12 -m venv .venv source .venv/bin/activate python -m pip install --upgrade pip python -m pip install . python examples/generate.py --output outputs/first-song 需要 Linux、Python 3.12、支援 BF16 且具備 24 GB VRAM 的 NVIDIA GPU。模型檔案會在首次使用時從 Hugging Face 下載。
授權與價格
採用 Apache-2.0 授權。開放原始碼。
內容整理自該專案公開的 README 與儲存庫資訊。