video-SALMONN-2
video-SALMONN 2 是一個強大的音視覺大型語言模型(LLM),能生成高品質的音視覺影片字幕,由清華大學電子工程系與字節跳動共同開發。
video-SALMONN-2 是什麼?
video-SALMONN 2 是一個強大的音視覺大型語言模型(LLM),能生成高品質的音視覺影片字幕,由清華大學電子工程系與字節跳動共同開發。
video-SALMONN-2 概覽
這是什麼
video-SALMONN 2 是由清華大學電子工程系與字節跳動共同開發的音視頻大型語言模型(LLM),能夠生成高品質的音視頻影片字幕。此儲存庫包含多種模型大小的程式碼與檢查點:video-SALMONN 2(7B)、video-SALMONN 2+(3B、7B、72B)以及 video-SALMONN 2 Pro(4B、8B、32B)。這些模型在 Video-MME、WorldSense、AVUT、Video-Holmes 和 DailyOmni 等音視頻問答基準上進行評估。本專案採用 Apache-2.0 授權。
主要功能
- 生成高品質的音視頻影片字幕。
- 提供多種模型大小:3B、4B、7B、8B、32B 和 72B。
- 支援音訊輸入以增強理解能力。
- 在多個音視頻問答基準上,於可比規模中達到最佳結果。
- 包含 SFT(監督式微調)和 DPO(直接偏好最佳化)的訓練腳本。
- 提供評估腳本用於檢查點評估。
使用情境
- 為包含視覺和音訊內容的影片生成詳細字幕。
- 音視頻問答(QA)任務。
- 多模態大型語言模型的研究與開發。
- 針對特定音視頻理解應用進行微調。
快速開始
請參閱儲存庫的 README 以取得使用 video-SALMONN 2、video-SALMONN 2+ 和 video-SALMONN 2 Pro 的詳細說明。README 為每個變體提供了單獨的目錄。若要進行訓練,請按照範例 JSON 檔案(scripts/example_sft.json 和 scripts/example_dpo.json)準備資料集,從 Hugging Face 下載 LLaVA-OneVision 模型,修改 scripts/train_sft.sh 或 scripts/train_dpo.sh 中的參數,然後執行對應的 bash 腳本。若要進行評估,請準備資料集,修改 scripts/eval.sh 中的參數,然後執行 bash scripts/eval.sh。
授權與價格
本專案採用 Apache-2.0 授權。為開源軟體,未說明價格。
內容整理自該專案公開的 README 與儲存庫資訊。