pairjudge

Pairwise LLM judges (A/B/tie): budget-aware multi-turn packing, position-bias correction, pseudo-label distillation. Generalized from the 4th-place (gold) solut

pairjudge 是什麼?

Pairwise LLM judges (A/B/tie): budget-aware multi-turn packing, position-bias correction, pseudo-label distillation. Generalized from the 4th-place (gold) solution to Kaggle LMSYS Chatbot Arena.

pairjudge 概覽

這是什麼

pairjudge 是一個比較提示詞與兩個回應的函式庫,回傳「A 勝 / B 勝 / 平手」的機率、保留內容診斷,以及可選的兩種呈現順序比較。安裝後可直接載入一個已訓練、有版本編號的範例模型。其方法源自 LMSYS Chatbot Arena 人類偏好預測競賽的第 4 名金牌解決方案。新的 0.5B 範例是一個小型、獨立評估的模型;競賽獎牌並非其品質認證。

主要功能

  • 預算感知多輪打包:balanced_v2 將欄位標題與最終指令分開保留,以可設定權重分配剩餘內容預算,並重新分配未使用空間。非空欄位在回合可容納時保留內容 token;截斷與捨棄的回合會明確標示。
  • 交換診斷:分別評分 (A,B) 與 (B,A),交換 A/B 輸出欄位並平均,在確定性推論中產生交換等變機率。
  • 三類別訓練與蒸餾:硬標籤使用交叉熵;軟分佈使用 KL 散度。訓練好的頭部、tokenizer、所有打包器欄位與類別映射會一起保存在安全模型套件中。
  • CLI 指令:pairjudge compare、pairjudge batch、pairjudge demo。
  • Python API:PairwiseJudge 類別,提供 from_pretrained 與 predict 方法。
  • 本機示範:模型載入後可於 http://127.0.0.1:7860 開啟,顯示單次、交換對齊與平均機率,以及內容保留報告。

使用情境

  • 比較給定提示詞的兩個回應。
  • 預測聊天機器人回應之間的人類偏好。
  • 對模型輸出進行 A/B 測試,並修正位置偏差。
  • 使用使用者提供的偏好資料訓練自訂評判模型。

快速開始

bash python -m pip install 'pairjudge[judge]==0.3.0' pairjudge compare --prompt 'Why does ice float?' --a 'Its crystal structure lowers its density.' --b 'Cold objects always rise.' --swap 批次處理: bash pairjudge batch --input pairs.jsonl --output results.jsonl --swap 啟動本機示範: bash pairjudge demo 模型推論與訓練需要 Python 3.10+。輕量核心支援 Python 3.9+。首次推論會下載約 2 GB 的模型權重與 tokenizer 檔案。

授權與價格

程式碼採用 MIT 授權。範例權重及其基礎/資料來源採用 Apache-2.0 授權,模型儲存庫中保留第三方聲明。此函式庫為開放原始碼,未標示價格。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/daoyuanli2816pairjudge.svg)](https://yunodb.com/tools/daoyuanli2816pairjudge?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/daoyuanli2816pairjudge?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/daoyuanli2816pairjudge.svg" alt="Featured on YunoDB" height="20"></a>