evalscope

一個精簡且可自訂的框架,用於高效能的大型模型(LLM、VLM、AIGC)評估與效能基準測試。

evalscope 是什麼?

一個精簡且可自訂的框架,用於高效能的大型模型(LLM、VLM、AIGC)評估與效能基準測試。

evalscope 概覽

這是什麼

EvalScope 是由 ModelScope 社群開發的一站式大型語言模型評估框架。它支援模型能力評估、推論效能壓力測試以及結果視覺化。只需一個指令即可開始使用。

主要功能

  • 全面的評估基準:內建多個業界認可的評估基準,包括 MMLU、C-Eval、GSM8K 等。
  • 多模態與多領域支援:支援多種模型類型的評估,包括大型語言模型 (LLM)、視覺語言模型 (VLM)、Embedding、Reranker、AIGC 等。
  • 系統一評估:透過 --eval-type systemone_api 評估文字選擇決策模型,包含任務指令、少量範例以及結構化的機率與信心度。
  • 多後端整合:無縫整合多個評估後端,包括 OpenCompass、VLMEvalKit、RAGEval,以滿足不同的評估需求。
  • 代理評估模式:在受控的多輪 AgentLoop 中驅動基準測試(例如 GSM8K、AIME、SWE-bench Agentic),並提供可插拔的策略與工具,以及 Docker 或 E2B 遠端沙箱;完整的每個樣本代理軌跡會被記錄並可視覺化。
  • 推論效能測試:提供強大的模型服務壓力測試工具,支援多種效能指標,例如 TTFT、TPOT。
  • 互動式報告:提供 Web Dashboard,用於多維度模型比較、報告概覽與詳細檢查。
  • 競技場模式:支援多模型對戰(Pairwise Battle),直觀地對模型進行排名與評估。
  • 高度可擴展:開發者可以輕鬆新增自訂資料集、模型與評估指標。

使用情境

EvalScope 專為評估大型模型(LLM、VLM、AIGC)與進行基準測試而設計。它可用於模型能力評估、推論效能壓力測試以及結果視覺化。該框架支援多模態與多領域評估、代理評估以及用於模型比較的競技場模式。

快速開始

bashpip install evalscopeevalscope eval --model your-model-name --api-url $OPENAI_API_BASE_URL --api-key $OPENAI_API_KEY --eval-type openai_api --datasets gsm8k --limit 5

授權與價格

授權條款為 Apache-2.0。價格類型為開源。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/modelscopeevalscope.svg)](https://yunodb.com/tools/modelscopeevalscope?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/modelscopeevalscope?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/modelscopeevalscope.svg" alt="Featured on YunoDB" height="20"></a>