Ask-Anything

[CVPR2024 焦點][VideoChatGPT] 具備影片理解能力的 ChatGPT!並支援更多語言模型,如 miniGPT4、StableLM 和 MOSS。

Ask-Anything 是什麼?

[CVPR2024 焦點][VideoChatGPT] 具備影片理解能力的 ChatGPT!並支援更多語言模型,如 miniGPT4、StableLM 和 MOSS。

Ask-Anything 概覽

這是什麼

Ask-Anything 是一個提供名為 VideoChat 的影片聊天模型系列的專案。它讓 ChatGPT 及其他大型語言模型能夠理解影片內容。該專案包含多個版本,例如 VideoChat2,該版本已被 CVPR2024 接收為 Highlight。它支援多種大型語言模型,包括 ChatGPT、StableLM、MOSS 和 MiniGPT-4。此儲存庫由 OpenGVLab 在 GitHub 上託管,並採用 MIT 授權。

主要功能

  • 支援多種大型語言模型:ChatGPT、StableLM、MOSS、MiniGPT-4 和 Vicuna。
  • VideoChat2 是一個基於 UMT 和 Vicuna-v0 的穩健基準模型,在多個影片基準測試中達到領先結果。
  • 包含 VideoChat2_HD,使用高解析度資料進行微調,以實現更詳細的描述和多樣化任務處理。
  • 提供 VideoChat2_phi3 和 VideoChat2_mistral,以實現更快或更強大的模型。
  • 釋出 200 萬條多樣化的指令資料,用於有效微調。
  • 包含 MVBench,一個全面的多模態影片理解基準測試,已被 CVPR2024 接收。

使用情境

  • 建立能夠理解和討論影片內容的端到端聊天機器人。
  • 將影片理解整合到使用 ChatGPT、StableLM、MOSS 或 MiniGPT-4 的應用程式中。
  • 研究與開發影片語言模型,包括長篇影片理解和串流影片。
  • 使用 MVBench 對影片理解能力進行基準測試。

快速開始

請參閱儲存庫的 README 以取得安裝和快速開始的說明。

授權與價格

此專案採用 MIT 授權,為開源軟體。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/opengvlabask-anything.svg)](https://yunodb.com/tools/opengvlabask-anything?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/opengvlabask-anything?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/opengvlabask-anything.svg" alt="Featured on YunoDB" height="20"></a>