caliper
使用您的技能、MCP 和規則來執行真實代理,並比較有無這些配置的差異。了解哪些設定真正有幫助,以及它們消耗多少代幣。支援 Claude Code、Codex、Pi、
caliper 是什麼?
使用您的技能、MCP 和規則來執行真實代理,並比較有無這些配置的差異。了解哪些設定真正有幫助,以及它們消耗多少代幣。支援 Claude Code、Codex、Pi、Hermes、Antigravity 和 OpenCode。
caliper 概覽
這是什麼
Caliper 是一個評估代理技能的工具,透過在有無技能的情況下執行相同任務,測量成功率與 token 成本。它支援 Claude Code、Codex、Pi 和 Hermes。工具使用規格檔(.eval.yaml)定義技能、任務與檢查項目。每個任務會在乾淨環境中執行多次,並比較結果以判斷技能是否真正有幫助。
主要功能
- 真實安裝:技能安裝在代理實際查找的位置,而非貼入提示中。
- 啟動計分板:追蹤代理是否選用了該技能,與任務成功與否分開計分。
- 鄰域:宣告競爭技能,並斷言哪個技能應贏得每個提示。
- 消融測試:
--ablate重新執行而不使用技能,以檢查技能是否帶來價值。 - 誠實數字:優先使用單次成功率;pass@k 可能美化不穩定的技能。
- 四種代理:同一份規格可搭配 Claude Code、Codex、Pi 和 Hermes,執行時選擇引擎。
使用情境
- 驗證代理技能在多個執行中是否穩定可靠。
- 模型更新後或當其他技能競爭相同提示時進行回歸測試。
- 比較鄰域中競爭技能的表現。
- 進行消融測試,判斷技能是否值得其上下文成本。
快速開始
bashnpx skills@latest add edonadei/caliper# 然後在代理中:/grill-skill ./inbox-triage/SKILL.md# 或使用 pipx:pipx install caliper-evalSPEC=inbox-triage/inbox-triage.eval.yamlcaliper run $SPEC --ablate inbox-triagecaliper run $SPECcaliper compare .caliper/results/inbox-triage/RUN_ID.json inbox-triage
授權與價格
MIT 授權。開源軟體。
內容整理自該專案公開的 README 與儲存庫資訊。