align-anything
Align Anything:以回饋訓練全模態模型
align-anything 是什麼?
Align Anything:以回饋訓練全模態模型 的摘要。
align-anything 概覽
這是什麼
Align Anything 是一個開源框架,用於將任意模態的大型模型(any-to-any 模型)與人類意圖和價值觀對齊。該專案由北京大學對齊團隊(PKU-Alignment Team)開發,託管於 GitHub 上的 PKU-Alignment/align-anything。該專案提供高度模組化的框架,支援多種模態模型的微調,並實作了不同的對齊演算法,包括 SFT、DPO、PPO 等。它還包含一個多模態命令列介面(CLI),支援圖像、音訊和視訊模態,以及基於 DollyTails 的 O1 風格訓練和受 Deepseek-R1 啟發的基於規則的強化學習。
主要功能
- 高度模組化的框架,允許使用者輕鬆修改和自訂程式碼以適應不同任務 - 多種模態模型微調,適用於多樣化的多模態(圖像/視訊/音訊)模型 - 不同的對齊演算法,包括 SFT、DPO、PPO 等 - 多模態命令列介面(CLI),支援圖像、音訊和視訊模態 - 基於 DollyTails 的 O1 風格訓練 - 受 Deepseek-R1 啟發的基於規則的強化學習
使用情境
Align Anything 可用於將任意模態的大型模型與人類意圖和價值觀對齊。它支援對 Qwen3、Qwen3-MoE、MiniCPM-o、Emu3、Janus 系列以及 DeepSeek 的統一多模態理解與生成模型進行對齊微調。它還支援具身智能中的視覺-語言-行動模型(VLA)對齊訓練、針對文字+圖像到文字模態模型的安全 RLHF-V,以及從語言回饋中學習。該框架可在 Nvidia GPU 和華為昇騰 NPU 上使用。
快速開始
bash git clone [email protected]:PKU-Alignment/align-anything.git cd align-anything conda create -n align-anything python==3.11 conda activate align-anything 在 Nvidia GPU 或華為昇騰 NPU 上的安裝方式,請參閱儲存庫的 README。
授權與價格
該專案採用 Apache-2.0 授權,且為開源軟體。
內容整理自該專案公開的 README 與儲存庫資訊。