pairjudge
Pairwise LLM judges (A/B/tie): budget-aware multi-turn packing, position-bias correction, pseudo-label distillation. Generalized from the 4th-place (gold) solut
pairjudge 是什麼?
Pairwise LLM judges (A/B/tie): budget-aware multi-turn packing, position-bias correction, pseudo-label distillation. Generalized from the 4th-place (gold) solution to Kaggle LMSYS Chatbot Arena.
pairjudge 概覽
這是什麼
pairjudge 是一個比較提示詞與兩個回應的函式庫,回傳「A 勝 / B 勝 / 平手」的機率、保留內容診斷,以及可選的兩種呈現順序比較。安裝後可直接載入一個已訓練、有版本編號的範例模型。其方法源自 LMSYS Chatbot Arena 人類偏好預測競賽的第 4 名金牌解決方案。新的 0.5B 範例是一個小型、獨立評估的模型;競賽獎牌並非其品質認證。
主要功能
- 預算感知多輪打包:
balanced_v2將欄位標題與最終指令分開保留,以可設定權重分配剩餘內容預算,並重新分配未使用空間。非空欄位在回合可容納時保留內容 token;截斷與捨棄的回合會明確標示。 - 交換診斷:分別評分 (A,B) 與 (B,A),交換 A/B 輸出欄位並平均,在確定性推論中產生交換等變機率。
- 三類別訓練與蒸餾:硬標籤使用交叉熵;軟分佈使用 KL 散度。訓練好的頭部、tokenizer、所有打包器欄位與類別映射會一起保存在安全模型套件中。
- CLI 指令:
pairjudge compare、pairjudge batch、pairjudge demo。 - Python API:
PairwiseJudge類別,提供from_pretrained與predict方法。 - 本機示範:模型載入後可於
http://127.0.0.1:7860開啟,顯示單次、交換對齊與平均機率,以及內容保留報告。
使用情境
- 比較給定提示詞的兩個回應。
- 預測聊天機器人回應之間的人類偏好。
- 對模型輸出進行 A/B 測試,並修正位置偏差。
- 使用使用者提供的偏好資料訓練自訂評判模型。
快速開始
bash python -m pip install 'pairjudge[judge]==0.3.0' pairjudge compare --prompt 'Why does ice float?' --a 'Its crystal structure lowers its density.' --b 'Cold objects always rise.' --swap 批次處理: bash pairjudge batch --input pairs.jsonl --output results.jsonl --swap 啟動本機示範: bash pairjudge demo 模型推論與訓練需要 Python 3.10+。輕量核心支援 Python 3.9+。首次推論會下載約 2 GB 的模型權重與 tokenizer 檔案。
授權與價格
程式碼採用 MIT 授權。範例權重及其基礎/資料來源採用 Apache-2.0 授權,模型儲存庫中保留第三方聲明。此函式庫為開放原始碼,未標示價格。
內容整理自該專案公開的 README 與儲存庫資訊。