evaluate

🤗 Evaluate:一個用於輕鬆評估機器學習模型和資料集的函式庫。

evaluate 是什麼?

🤗 Evaluate:一個用於輕鬆評估機器學習模型和資料集的函式庫。

evaluate 概覽

這是什麼

🤗 Evaluate 是一個用於評估機器學習模型與資料集的函式庫。它提供數十種常用指標、比較工具與測量工具的標準化實作,支援 Numpy、Pandas、PyTorch、TensorFlow 與 JAX 等多種框架。該函式庫屬於 Hugging Face 生態系統的一部分,採用 Apache-2.0 授權。

主要功能

  • 包含數十種常用指標的實作,涵蓋自然語言處理、電腦視覺及資料集特定指標。
  • 支援比較(測量模型之間的差異)與測量(評估資料集的工具)。
  • 提供型別檢查,確保每個指標的輸入格式正確。
  • 每個指標附有說明卡,描述其數值、限制、範圍及使用範例。
  • 社群指標存放於 Hugging Face Hub,使用者可輕鬆新增自己的指標。
  • 可使用 evaluate-cli create 指令建立新的評估模組並上傳至 Hub 上的專屬空間。

使用情境

  • 在不同框架(Numpy、Pandas、PyTorch、TensorFlow、JAX)中評估機器學習模型。
  • 使用標準化指標比較多個模型的效能。
  • 透過測量工具評估資料集的特性。
  • 為特定專案或協作新增自訂評估指標,並透過 Hugging Face Hub 分享。

快速開始

在虛擬環境中使用 pip 安裝 🤗 Evaluate:bashpip install evaluate列出可用的評估模組:pythonevaluate.list_evaluation_modules()載入並使用指標:pythonaccuracy = evaluate.load('accuracy')results = accuracy.compute(predictions=predictions, references=references)若要建立新的評估模組,先安裝範本相依套件:bashpip install evaluate[template]然後執行:bashevaluate-cli create 'Awesome Metric'

授權與價格

該函式庫為開放原始碼,採用 Apache-2.0 授權。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/huggingfaceevaluate.svg)](https://yunodb.com/tools/huggingfaceevaluate?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/huggingfaceevaluate?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/huggingfaceevaluate.svg" alt="Featured on YunoDB" height="20"></a>