unitxt

🦄 Unitxt 是一個用於企業級 AI 效能評估的 Python 函式庫,提供全球最大的工具與資料目錄,支援端到端 AI 基準測試

unitxt 是什麼?

🦄 Unitxt 是一個用於企業級 AI 效能評估的 Python 函式庫,提供全球最大的工具與資料目錄,支援端到端 AI 基準測試

unitxt 概覽

這是什麼

Unitxt 是一個 Python 函式庫,用於企業級 AI 效能評估,提供工具與資料目錄以進行端到端的 AI 基準測試。它支援在統一框架中評估文字、表格、視覺、語音和程式碼。它與模型無關,可與 HuggingFace、OpenAI、WatsonX 及自訂模型搭配使用。該函式庫設計為可重現,具有可分享、模組化的元件。

主要功能

  • 在統一框架中評估文字、表格、視覺、語音和程式碼。
  • 企業級就緒,包含經過實戰測試的元件和廣泛的基準測試目錄。
  • 與模型無關:可與 HuggingFace、OpenAI、WatsonX 及自訂模型搭配使用。
  • 可重現:可分享、模組化的元件確保結果一致。
  • 命令列介面,支援簡單與多任務評估。
  • Python API 用於自訂評估流程。

使用情境

  • 跨多種模態(文字、表格、視覺、語音、程式碼)對 AI 模型進行基準測試。
  • 執行標準基準測試,如 MMLU-Pro、Text2SQL 和工具呼叫。
  • 使用 Python API 以任何模型評估自訂資料集。
  • 透過圖形使用者介面互動式探索資料集和基準測試。

快速開始

安裝 Unitxt: bash pip install unitxt 執行簡單評估: bash unitxt-evaluate --tasks 'card=cards.mmlu_pro.engineering' --model cross_provider --model_args 'model_name=llama-3-1-8b-instruct' --limit 10 啟動互動式儀表板: bash pip install unitxt[ui] unitxt-explore

授權與價格

Apache-2.0 授權。開放原始碼。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/ibmunitxt.svg)](https://yunodb.com/tools/ibmunitxt?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/ibmunitxt?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/ibmunitxt.svg" alt="Featured on YunoDB" height="20"></a>