evaluation-guidebook
分享我們在管理 Open LLM Leaderboard 與設計 lighteval 時，所累積關於 LLM 評估的實務見解與理論知識。
evaluation-guidebook 是什麼？
分享我們在管理 Open LLM Leaderboard 與設計 lighteval 時，所累積關於 LLM 評估的實務見解與理論知識。
evaluation-guidebook 概覽
這是什麼
這是一本關於評估大型語言模型（LLM）的指南。它分享了在管理 Open LLM Leaderboard 和設計 lighteval 時所累積的實務見解與理論知識。指南涵蓋了評估模型的不同方式、自行設計評估的指引，以及來自實務經驗的技巧與訣竅。適用於處理生產模型的從業人員、研究人員或業餘愛好者。請注意：本指南已不再維護；最新版本（截至 2025 年 12 月）位於 Hugging Face Space。
主要功能
- 涵蓋自動化基準、人類評估以及 LLM 作為評審的方法 - 包含設計評估、推論與再現性疑難排解的章節 - 提供關於模型推論、分詞及其他 LLM 基礎知識的通用知識章節 - 每年針對評估主題進行深度探討（2023：開源、2024：評估應為何、2025：建構「真實生活」有用模型的評估） - 提供社群翻譯（中文與法文） - 列出作者推薦的資源與連結
使用情境
- 初學者可以從各章節的「基礎」部分以及「通用知識」章節開始 - 進階使用者可以專注於「技巧與訣竅」、「疑難排解」和「設計」章節 - 任何需要確保 LLM 在特定任務上表現良好的人
快速開始
請參閱儲存庫的 README 以了解如何閱讀本指南。未提供任何安裝指令。
授權與價格
授權未明確說明（NOASSERTION）。此專案為開源。
內容整理自該專案公開的 README 與儲存庫資訊。
