keystone-bench
一個臨床決策證據基準:提取答案所依據的單一事實,並查看助理的行為是否隨證據而變動。基於 HealthBench 構建。
keystone-bench 是什麼?
一個臨床決策證據基準:提取答案所依據的單一事實,並查看助理的行為是否隨證據而變動。基於 HealthBench 構建。
keystone-bench 概覽
這是什麼
Keystone-Bench 是一個臨床決策證據基準測試。它建立在 HealthBench 之上。該基準測試評估聊天助手在臨床對話中,當一個關鍵事實被移除、取代或矛盾時,其行動是否會正確改變。它也衡量用於評分助手的評分量表在編輯後是否仍然適用。
主要功能
- 7,419 個雙胞胎樣本,涵蓋 1,260 個 HealthBench 對話,包括 2,861 個多輪對話。
- 九種編輯家族:missing_evidence、conflicting_evidence、demographic_shift、salient_distractor、alternative_evidence、demographic_control、buried_red_flag、missing_evidence_early 和 alternative_evidence_hard。
- 決策-證據層:每個來源有一個決策框架;每個雙胞胎樣本有五種證據狀態之一,並附有可接受行動、禁止行動和關鍵問題。
- 1,132 個來源的改寫控制組:僅改寫,不增減內容。
- 多個層級與分割:all、core、strict、primary、quick;來源按 80/20 分割為 dev 和 test。
- 五個助手的參考結果、評分者有效性檢查,以及每個檔案的可稽核 SHA-256。
使用情境
評估臨床聊天助手在單一事實改變時,是否能正確改變或維持行動。測試評分量表在證據狀態改變後的穩健性。稽核助手的回覆是否基於證據,而非表面線索。
快速開始
pip install keystone-benchkeystone build完整說明請參閱儲存庫的 README。
授權與價格
授權條款未標明。此專案為開源。
內容整理自該專案公開的 README 與儲存庫資訊。