hallucination-leaderboard
排行榜:比較LLM在摘要短文件時產生幻覺的表現。
hallucination-leaderboard 是什麼?
英文品牌名: hallucination-leaderboard。標語: Leaderboard Comparing LLM Performance at Producing Hallucinations when Summarizing Short Documents。摘要: 排行榜:比較LLM在摘要短文件時產生幻覺的表現。分類: Ai。授權: Apache-2.0。
hallucination-leaderboard 概覽
這是什麼
Hallucination Leaderboard 是一個公開的排行榜,用於比較大型語言模型(LLM)在摘要短文件時產生幻覺(hallucination)的表現。該排行榜使用 Vectara 的幻覺評估模型(HHEM-2.3)進行計算。最後更新日期為 2026 年 10 月 22 日。
主要功能
- 使用 HHEM-2.3(Vectara 的商業幻覺評估模型)來計算排名。
- 開放原始碼的變體 HHEM-2.1-Open 可在 Hugging Face 和 Kaggle 上取得。
- 資料集包含超過 7700 篇文章,來源包括新聞、科技、科學、醫學、法律、體育、商業和教育。
- 文章長度從 50 字到 24,000 字不等,涵蓋低複雜度與高複雜度。
- 資料集未公開,以避免任何 LLM 過度擬合。
- 報告的指標包括幻覺率、事實一致性率、回答率和平均摘要長度。
使用情境
- 比較不同 LLM 在摘要文件時的幻覺傾向。
- 評估摘要生成的事實一致性。
- 支援關於語言模型幻覺與事實一致性的研究。
快速開始
請參閱儲存庫的 README 以了解如何存取排行榜及使用 HHEM 模型的詳細資訊。
授權與價格
- 授權:Apache-2.0
- 價格:開放原始碼
內容整理自該專案公開的 README 與儲存庫資訊。