opencompass
OpenCompass 是一個大型語言模型（LLM）評測平台，支援 OpenAI、Anthropic、Gemini、Qwen、GLM、DeepSeek 等多種模型，涵蓋超過 100 個資料集，範圍包括知識、推理、程式碼、科學、語言、長文本以及安全性。
opencompass 是什麼？
OpenCompass 是一個大型語言模型（LLM）評測平台，支援 OpenAI、Anthropic、Gemini、Qwen、GLM、DeepSeek 等多種模型，涵蓋超過 100 個資料集，範圍包括知識、推理、程式碼、科學、語言、長文本以及安全性。
opencompass 概覽
這是什麼
OpenCompass 是一個大型模型評估的一站式平台。它支援來自 OpenAI、Anthropic、Gemini、Qwen、GLM、DeepSeek 等眾多模型，並整合超過 100 個資料集，涵蓋知識、推理、程式碼、科學、語言、長上下文、安全等能力維度。OpenCompass 也整合了 VLMEvalKit，讓純文字與視覺語言資料集能在統一的工作流程中進行評估。
主要功能
- 支援來自 OpenAI、Anthropic、Gemini、Qwen、GLM、DeepSeek 等眾多模型。
- 整合超過 100 個資料集，涵蓋知識、推理、程式碼、科學、語言、長上下文與安全。
- 整合 VLMEvalKit，可統一評估純文字與視覺語言資料集。
- 提供從資料集與模型設定、推論、評估到結果彙整的完整工作流程。
- 支援多種推論後端，包括 HuggingFace、LMDeploy 與 vLLM。
- 支援零樣本、少樣本、思維鏈、規則式與 LLM-as-judge 評估。
- 設計上開放、可重現且可擴展。
使用情境
- 在多個能力維度上評估大型語言模型。
- 比較不同模型在標準基準上的表現。
- 進行模型能力與安全性的研究。
快速開始
bash conda create --name opencompass python=3.12 -y conda activate opencompass pip install -U opencompass 安裝完成後，請參閱儲存庫的 README 以了解快速入門指南。
授權與價格
授權：Apache-2.0。此為開源軟體。
內容整理自該專案公開的 README 與儲存庫資訊。
