caliper

使用您的技能、MCP 和規則來執行真實代理,並比較有無這些配置的差異。了解哪些設定真正有幫助,以及它們消耗多少代幣。支援 Claude Code、Codex、Pi、

caliper 是什麼?

使用您的技能、MCP 和規則來執行真實代理,並比較有無這些配置的差異。了解哪些設定真正有幫助,以及它們消耗多少代幣。支援 Claude Code、Codex、Pi、Hermes、Antigravity 和 OpenCode。

caliper 概覽

這是什麼

Caliper 是一個評估代理技能的工具,透過在有無技能的情況下執行相同任務,測量成功率與 token 成本。它支援 Claude Code、Codex、Pi 和 Hermes。工具使用規格檔(.eval.yaml)定義技能、任務與檢查項目。每個任務會在乾淨環境中執行多次,並比較結果以判斷技能是否真正有幫助。

主要功能

  • 真實安裝:技能安裝在代理實際查找的位置,而非貼入提示中。
  • 啟動計分板:追蹤代理是否選用了該技能,與任務成功與否分開計分。
  • 鄰域:宣告競爭技能,並斷言哪個技能應贏得每個提示。
  • 消融測試:--ablate 重新執行而不使用技能,以檢查技能是否帶來價值。
  • 誠實數字:優先使用單次成功率;pass@k 可能美化不穩定的技能。
  • 四種代理:同一份規格可搭配 Claude Code、Codex、Pi 和 Hermes,執行時選擇引擎。

使用情境

  • 驗證代理技能在多個執行中是否穩定可靠。
  • 模型更新後或當其他技能競爭相同提示時進行回歸測試。
  • 比較鄰域中競爭技能的表現。
  • 進行消融測試,判斷技能是否值得其上下文成本。

快速開始

bashnpx skills@latest add edonadei/caliper# 然後在代理中:/grill-skill ./inbox-triage/SKILL.md# 或使用 pipx:pipx install caliper-evalSPEC=inbox-triage/inbox-triage.eval.yamlcaliper run $SPEC --ablate inbox-triagecaliper run $SPECcaliper compare .caliper/results/inbox-triage/RUN_ID.json inbox-triage

授權與價格

MIT 授權。開源軟體。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/edonadeicaliper.svg)](https://yunodb.com/tools/edonadeicaliper?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/edonadeicaliper?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/edonadeicaliper.svg" alt="Featured on YunoDB" height="20"></a>