evalscope
一個精簡且可自訂的框架,用於高效能的大型模型(LLM、VLM、AIGC)評估與效能基準測試。
evalscope 是什麼?
一個精簡且可自訂的框架,用於高效能的大型模型(LLM、VLM、AIGC)評估與效能基準測試。
evalscope 概覽
這是什麼
EvalScope 是由 ModelScope 社群開發的一站式大型語言模型評估框架。它支援模型能力評估、推論效能壓力測試以及結果視覺化。只需一個指令即可開始使用。
主要功能
- 全面的評估基準:內建多個業界認可的評估基準,包括 MMLU、C-Eval、GSM8K 等。
- 多模態與多領域支援:支援多種模型類型的評估,包括大型語言模型 (LLM)、視覺語言模型 (VLM)、Embedding、Reranker、AIGC 等。
- 系統一評估:透過
--eval-type systemone_api評估文字選擇決策模型,包含任務指令、少量範例以及結構化的機率與信心度。 - 多後端整合:無縫整合多個評估後端,包括 OpenCompass、VLMEvalKit、RAGEval,以滿足不同的評估需求。
- 代理評估模式:在受控的多輪 AgentLoop 中驅動基準測試(例如 GSM8K、AIME、SWE-bench Agentic),並提供可插拔的策略與工具,以及 Docker 或 E2B 遠端沙箱;完整的每個樣本代理軌跡會被記錄並可視覺化。
- 推論效能測試:提供強大的模型服務壓力測試工具,支援多種效能指標,例如 TTFT、TPOT。
- 互動式報告:提供 Web Dashboard,用於多維度模型比較、報告概覽與詳細檢查。
- 競技場模式:支援多模型對戰(Pairwise Battle),直觀地對模型進行排名與評估。
- 高度可擴展:開發者可以輕鬆新增自訂資料集、模型與評估指標。
使用情境
EvalScope 專為評估大型模型(LLM、VLM、AIGC)與進行基準測試而設計。它可用於模型能力評估、推論效能壓力測試以及結果視覺化。該框架支援多模態與多領域評估、代理評估以及用於模型比較的競技場模式。
快速開始
bashpip install evalscopeevalscope eval --model your-model-name --api-url $OPENAI_API_BASE_URL --api-key $OPENAI_API_KEY --eval-type openai_api --datasets gsm8k --limit 5
授權與價格
授權條款為 Apache-2.0。價格類型為開源。
內容整理自該專案公開的 README 與儲存庫資訊。