YuE

YuE2: 前沿音樂生成,具備符號規劃、零樣本翻唱與代理式音樂編輯功能。

YuE 是什麼?

YuE2: 前沿音樂生成,具備符號規劃、零樣本翻唱與代理式音樂編輯功能。

YuE 概覽

這是什麼

YuE2 是一個統合符號與音訊生成的音樂生成系統。它接收歌詞與風格提示,先寫出旋律與和弦的計劃,再將該計劃實現為包含人聲與伴奏的完整歌曲。它是 YuE 的後繼版本,其程式碼與授權條款保留在 YuE-v1 分支中。

主要功能

  • 前沿品質:在 WildSongBench 上與 Suno v5/v6 競爭;最佳 8 選 1 可達 6.9632 SongBench 平均分。
  • 透過符號規劃的白盒音樂生成:旋律與和弦成為可檢視與編輯的明確控制項。
  • 零樣本翻唱與智能體編輯:轉錄來源錄音並以新風格重新詮釋,或透過對話修改歌曲的樂譜、編曲與歌詞。
  • 單一 AR–NAR Mixture-of-Transformers 骨幹:自迴歸預測樂譜與語義標記,再以流匹配生成聲學潛變量。
  • 分階段的 Python API:plan() → generate_semantic() → synthesize() → decode()。
  • 智能體技能(yue2-music)可從描述、ABC 樂譜或參考錄音生成器樂與翻唱。

使用情境

  • 從歌詞與風格提示創作完整歌曲。
  • 翻唱歌曲:使用 SheetSage2 轉錄來源錄音,提供新歌詞或目標風格,生成新的詮釋版本。
  • 編輯作品:匯出計劃,修改和聲、旋律、速度或曲式等音樂細節,再重新渲染編輯後的樂譜。
  • 智能體編輯:智能體可透過對話逐步調整歌曲。

快速開始

bash git clone https://github.com/multimodal-art-projection/YuE.git cd YuE python3.12 -m venv .venv source .venv/bin/activate python -m pip install --upgrade pip python -m pip install . python examples/generate.py --output outputs/first-song 需要 Linux、Python 3.12、支援 BF16 且具備 24 GB VRAM 的 NVIDIA GPU。模型檔案會在首次使用時從 Hugging Face 下載。

授權與價格

採用 Apache-2.0 授權。開放原始碼。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/multimodal-art-projectionyue.svg)](https://yunodb.com/tools/multimodal-art-projectionyue?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/multimodal-art-projectionyue?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/multimodal-art-projectionyue.svg" alt="Featured on YunoDB" height="20"></a>