Ask-Anything
[CVPR2024 焦點][VideoChatGPT] 具備影片理解能力的 ChatGPT!並支援更多語言模型,如 miniGPT4、StableLM 和 MOSS。
Ask-Anything 是什麼?
[CVPR2024 焦點][VideoChatGPT] 具備影片理解能力的 ChatGPT!並支援更多語言模型,如 miniGPT4、StableLM 和 MOSS。
Ask-Anything 概覽
這是什麼
Ask-Anything 是一個提供名為 VideoChat 的影片聊天模型系列的專案。它讓 ChatGPT 及其他大型語言模型能夠理解影片內容。該專案包含多個版本,例如 VideoChat2,該版本已被 CVPR2024 接收為 Highlight。它支援多種大型語言模型,包括 ChatGPT、StableLM、MOSS 和 MiniGPT-4。此儲存庫由 OpenGVLab 在 GitHub 上託管,並採用 MIT 授權。
主要功能
- 支援多種大型語言模型:ChatGPT、StableLM、MOSS、MiniGPT-4 和 Vicuna。
- VideoChat2 是一個基於 UMT 和 Vicuna-v0 的穩健基準模型,在多個影片基準測試中達到領先結果。
- 包含 VideoChat2_HD,使用高解析度資料進行微調,以實現更詳細的描述和多樣化任務處理。
- 提供 VideoChat2_phi3 和 VideoChat2_mistral,以實現更快或更強大的模型。
- 釋出 200 萬條多樣化的指令資料,用於有效微調。
- 包含 MVBench,一個全面的多模態影片理解基準測試,已被 CVPR2024 接收。
使用情境
- 建立能夠理解和討論影片內容的端到端聊天機器人。
- 將影片理解整合到使用 ChatGPT、StableLM、MOSS 或 MiniGPT-4 的應用程式中。
- 研究與開發影片語言模型,包括長篇影片理解和串流影片。
- 使用 MVBench 對影片理解能力進行基準測試。
快速開始
請參閱儲存庫的 README 以取得安裝和快速開始的說明。
授權與價格
此專案採用 MIT 授權,為開源軟體。
內容整理自該專案公開的 README 與儲存庫資訊。