awesome-evals

一個精選、不唬爛的資源庫,收錄建置與評估 AI 代理的最佳資源——論文、部落格、演講、工具、基準。由 BenchFlow 維護。

awesome-evals 是什麼?

一個精選、不唬爛的資源庫,收錄建置與評估 AI 代理的最佳資源——論文、部落格、演講、工具、基準。由 BenchFlow 維護。

awesome-evals 概覽

這是什麼

這是一個經過策展、有觀點、不廢話的資源庫,專注於建構與評估 AI 代理(AI agents)。內容包含論文、部落格文章、演講、課程、工具與基準測試。由 BenchFlow 維護。每個條目都經過註解與驗證:說明它是什麼以及為何值得收錄,網址經過檢查,引述為逐字原文,已失效或廢棄的工具會被移除。該集合透過深度 4 層的遞迴引用爬取(11,600 篇論文,依入度排名)、針對實務者的網路探索、47 場演講與播客的逐字稿與深度筆記,以及每個章節的差距審計與對抗性驗證而建立。包含 443+ 個策展連結與 143 份深度閱讀筆記。標記:🆕 = 2025–2026 年發布或更新,⚠️ = 注意事項。

主要功能

  • 經過註解與驗證的條目,附有相關性說明。
  • 深度 4 層遞迴引用爬取,涵蓋 11,600 篇論文。
  • 47 場演講與播客的逐字稿,附有逐字引用與時間戳。
  • 443+ 個策展連結與 143 份深度閱讀筆記。
  • 新內容(🆕)與注意事項(⚠️)的標記。
  • 包含一本手冊(PATTERNS.md),提供真實可執行的程式碼與實作範例,涵蓋 LLM-as-judge、pass@k/pass^k、錯誤分析、軌跡與世界狀態評分、CI 閘門、可驗證獎勵等。
  • 每個章節的差距審計與對抗性驗證。

使用情境

  • 為研究或生產建構與評估 AI 代理。
  • 了解評估基礎設施、基準測試與強化學習環境。
  • 學習 LLM-as-judge、驗證器與代理特定評估。
  • 安全性與對抗性評估(提示注入、越獄等)。
  • 為 AI 代理領域的實務者、研究人員與產品建構者提供參考。

快速開始

請參閱儲存庫的 README 以了解貢獻指南以及如何瀏覽策展清單。未提供安裝指令。

授權與價格

儲存庫中未明確聲明授權(NOASSERTION)。此專案為開放原始碼(定價類型:open_source)。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/benchflow-aiawesome-evals.svg)](https://yunodb.com/tools/benchflow-aiawesome-evals?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/benchflow-aiawesome-evals?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/benchflow-aiawesome-evals.svg" alt="Featured on YunoDB" height="20"></a>