awesome-evals
一個精選、不唬爛的資源庫,收錄建置與評估 AI 代理的最佳資源——論文、部落格、演講、工具、基準。由 BenchFlow 維護。
awesome-evals 是什麼?
一個精選、不唬爛的資源庫,收錄建置與評估 AI 代理的最佳資源——論文、部落格、演講、工具、基準。由 BenchFlow 維護。
awesome-evals 概覽
這是什麼
這是一個經過策展、有觀點、不廢話的資源庫,專注於建構與評估 AI 代理(AI agents)。內容包含論文、部落格文章、演講、課程、工具與基準測試。由 BenchFlow 維護。每個條目都經過註解與驗證:說明它是什麼以及為何值得收錄,網址經過檢查,引述為逐字原文,已失效或廢棄的工具會被移除。該集合透過深度 4 層的遞迴引用爬取(11,600 篇論文,依入度排名)、針對實務者的網路探索、47 場演講與播客的逐字稿與深度筆記,以及每個章節的差距審計與對抗性驗證而建立。包含 443+ 個策展連結與 143 份深度閱讀筆記。標記:🆕 = 2025–2026 年發布或更新,⚠️ = 注意事項。
主要功能
- 經過註解與驗證的條目,附有相關性說明。
- 深度 4 層遞迴引用爬取,涵蓋 11,600 篇論文。
- 47 場演講與播客的逐字稿,附有逐字引用與時間戳。
- 443+ 個策展連結與 143 份深度閱讀筆記。
- 新內容(🆕)與注意事項(⚠️)的標記。
- 包含一本手冊(PATTERNS.md),提供真實可執行的程式碼與實作範例,涵蓋 LLM-as-judge、pass@k/pass^k、錯誤分析、軌跡與世界狀態評分、CI 閘門、可驗證獎勵等。
- 每個章節的差距審計與對抗性驗證。
使用情境
- 為研究或生產建構與評估 AI 代理。
- 了解評估基礎設施、基準測試與強化學習環境。
- 學習 LLM-as-judge、驗證器與代理特定評估。
- 安全性與對抗性評估(提示注入、越獄等)。
- 為 AI 代理領域的實務者、研究人員與產品建構者提供參考。
快速開始
請參閱儲存庫的 README 以了解貢獻指南以及如何瀏覽策展清單。未提供安裝指令。
授權與價格
儲存庫中未明確聲明授權(NOASSERTION)。此專案為開放原始碼(定價類型:open_source)。
內容整理自該專案公開的 README 與儲存庫資訊。