align-anything

Align Anything:以回饋訓練全模態模型

align-anything 是什麼?

Align Anything:以回饋訓練全模態模型 的摘要。

align-anything 概覽

這是什麼

Align Anything 是一個開源框架,用於將任意模態的大型模型(any-to-any 模型)與人類意圖和價值觀對齊。該專案由北京大學對齊團隊(PKU-Alignment Team)開發,託管於 GitHub 上的 PKU-Alignment/align-anything。該專案提供高度模組化的框架,支援多種模態模型的微調,並實作了不同的對齊演算法,包括 SFT、DPO、PPO 等。它還包含一個多模態命令列介面(CLI),支援圖像、音訊和視訊模態,以及基於 DollyTails 的 O1 風格訓練和受 Deepseek-R1 啟發的基於規則的強化學習。

主要功能

  • 高度模組化的框架,允許使用者輕鬆修改和自訂程式碼以適應不同任務 - 多種模態模型微調,適用於多樣化的多模態(圖像/視訊/音訊)模型 - 不同的對齊演算法,包括 SFT、DPO、PPO 等 - 多模態命令列介面(CLI),支援圖像、音訊和視訊模態 - 基於 DollyTails 的 O1 風格訓練 - 受 Deepseek-R1 啟發的基於規則的強化學習

使用情境

Align Anything 可用於將任意模態的大型模型與人類意圖和價值觀對齊。它支援對 Qwen3、Qwen3-MoE、MiniCPM-o、Emu3、Janus 系列以及 DeepSeek 的統一多模態理解與生成模型進行對齊微調。它還支援具身智能中的視覺-語言-行動模型(VLA)對齊訓練、針對文字+圖像到文字模態模型的安全 RLHF-V,以及從語言回饋中學習。該框架可在 Nvidia GPU 和華為昇騰 NPU 上使用。

快速開始

bash git clone [email protected]:PKU-Alignment/align-anything.git cd align-anything conda create -n align-anything python==3.11 conda activate align-anything 在 Nvidia GPU 或華為昇騰 NPU 上的安裝方式,請參閱儲存庫的 README。

授權與價格

該專案採用 Apache-2.0 授權,且為開源軟體。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/pku-alignmentalign-anything.svg)](https://yunodb.com/tools/pku-alignmentalign-anything?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/pku-alignmentalign-anything?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/pku-alignmentalign-anything.svg" alt="Featured on YunoDB" height="20"></a>