hallucination-leaderboard

排行榜:比較LLM在摘要短文件時產生幻覺的表現。

hallucination-leaderboard 是什麼?

英文品牌名: hallucination-leaderboard。標語: Leaderboard Comparing LLM Performance at Producing Hallucinations when Summarizing Short Documents。摘要: 排行榜:比較LLM在摘要短文件時產生幻覺的表現。分類: Ai。授權: Apache-2.0。

hallucination-leaderboard 概覽

這是什麼

​​Hallucination Leaderboard 是一個公開的排行榜,用於比較大型語言模型(LLM)在摘要短文件時產生幻覺(hallucination)的表現。該排行榜使用 Vectara 的幻覺評估模型(HHEM-2.3)進行計算。最後更新日期為 2026 年 10 月 22 日。​​

主要功能

​​

  • 使用 HHEM-2.3(Vectara 的商業幻覺評估模型)來計算排名。​
  • 開放原始碼的變體 HHEM-2.1-Open 可在 Hugging Face 和 Kaggle 上取得。​
  • 資料集包含超過 7700 篇文章,來源包括新聞、科技、科學、醫學、法律、體育、商業和教育。​
  • 文章長度從 50 字到 24,000 字不等,涵蓋低複雜度與高複雜度。​
  • 資料集未公開,以避免任何 LLM 過度擬合。​
  • 報告的指標包括幻覺率、事實一致性率、回答率和平均摘要長度。​​

使用情境

​​

  • 比較不同 LLM 在摘要文件時的幻覺傾向。​
  • 評估摘要生成的事實一致性。​
  • 支援關於語言模型幻覺與事實一致性的研究。​​

快速開始

​​請參閱儲存庫的 README 以了解如何存取排行榜及使用 HHEM 模型的詳細資訊。​​

授權與價格

​​

  • 授權:Apache-2.0​
  • 價格:開放原始碼

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/vectarahallucination-leaderboard.svg)](https://yunodb.com/tools/vectarahallucination-leaderboard?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/vectarahallucination-leaderboard?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/vectarahallucination-leaderboard.svg" alt="Featured on YunoDB" height="20"></a>