evidently
来自纽约的软件开发者
evidently 是什麼?
约翰是一位来自纽约的软件开发者,拥有MIT许可证。作者是约翰·多伊。
evidently 概覽
這是什麼
Evidently 是一個開源的 Python 函式庫,用於評估、測試和監控機器學習與大型語言模型系統。它支援表格資料與文字資料,涵蓋預測性與生成性任務,例如分類、迴歸與 RAG。該框架內建超過 100 個指標,從資料漂移偵測到 LLM 評判,並提供 Python 介面以定義自訂指標。它支援離線評估與即時監控,採用開放式架構,方便資料匯出及與現有工具整合。
主要功能
- 報告與測試套件:計算並彙總資料、ML 與 LLM 品質評估。報告可在 Python 中互動檢視,或匯出為 JSON、HTML 或 Python 字典。測試套件可加入通過/失敗條件,適用於迴歸測試與 CI/CD 檢查。
- 監控儀表板:可自託管或雲端化的 UI,用於視覺化指標與測試結果隨時間的變化。開源版本可自行部署;Evidently Cloud 提供代管版本,具備額外功能。
- 超過 100 個內建指標,涵蓋文字描述子、LLM 輸出、資料品質、資料分佈漂移、分類、迴歸、排序(含 RAG)與推薦。
- 自訂指標:透過 Python 介面定義自訂評估器。
- 開放式架構:易於匯出資料並與現有工具整合。
使用情境
- 實驗評估與探索性分析 - 除錯 ML 與 LLM 系統 - 迴歸測試與 CI/CD 管線檢查 - 資料驗證與品質監控 - 生產環境模型與資料管線的即時監控
快速開始
透過 pip 或 conda 安裝 Evidently: sh pip install evidently 或 sh conda install -c conda-forge evidently 啟動含示範專案的監控儀表板: sh evidently ui --demo-projects all 詳細教學與範例請參閱儲存庫的 README。
授權與價格
Evidently 採用 Apache-2.0 授權條款,為開源軟體,可免費使用。Evidently Cloud 是另一個代管服務,提供免費方案與額外功能,例如資料集管理、警示與無程式碼評估。
內容整理自該專案公開的 README 與儲存庫資訊。