VLMEvalKit
大型多模態模型(LMMs)的開源評估工具包,支援 220+ 個 LMMs、80+ 個基準測試
VLMEvalKit 是什麼?
大型多模態模型(LMMs)的開源評估工具包,支援 220+ 個 LMMs、80+ 個基準測試
VLMEvalKit 概覽
這是什麼
VLMEvalKit 是一個開源的大型視覺語言模型(LVLM)評估工具包。它支援超過 220 個大型多模態模型(LMM)以及 80 多個基準測試。該工具包提供一鍵式評估,無需在多個儲存庫中進行繁重的資料準備。它對所有 LVLM 採用基於生成的評估方式,並透過精確匹配和基於 LLM 的答案提取提供結果。
主要功能
- 支援 220+ 個 LMM 和 80+ 個基準測試,包括商業 API 和開源模型。
- 一鍵式評估流程,簡化基準測試。
- 基於生成的評估,包含精確匹配和基於 LLM 的答案提取。
- 支援使用 LMDeploy 或 VLLM 進行多節點分散式推理,適用於大規模或思考型模型。
- 透過自訂
split_thinking函數改善對思考模式模型的處理。 - 支援長回應輸出(超過 16k/32k token),使用 TSV 格式避免資料截斷。
- 定期更新,新增模型和基準測試。
使用情境
- 在多個基準測試上評估和比較大型視覺語言模型的效能。
- 用於 LVLM 的研究與開發,包括測試新模型變體。
- 對商業和開源模型進行基準測試,以提交至排行榜。
- 分析模型在視覺為核心的任務(如 VQA、影片理解、物理推理)中的能力。
快速開始
請參閱儲存庫的 README 以取得安裝和快速開始指令。
授權與價格
採用 Apache-2.0 授權。此專案為開源。
內容整理自該專案公開的 README 與儲存庫資訊。