paritok-4b-v1

paritok-4b-v1 概覽

這是什麼

Paritok 是一個非破壞性的壓縮閘道，專為 AI 編碼代理設計。它作為一個即插即用的代理，位於代理與 LLM API 之間，在不修改代理本身的情況下，改寫請求以減少輸入 token 的使用量。閘道會壓縮工具 schema、工具結果、檔案讀取以及過時的歷史記錄，然後將壓縮後的請求轉發給上游。沒有任何資料會被永久丟棄；代理可以按需取回完整的原始內容。它可與 Claude Code、Cursor、Codex、OpenHands 以及任何支援 BASE_URL 的代理搭配使用。此閘道由 Paritok-4B-v1 模型驅動，這是一個基於 45K 真實代理軌跡訓練的開源 4B 壓縮模型。

主要功能

• 工具 schema 過濾：在每次請求中語意過濾工具列表，僅保留相關工具的完整 schema，其餘工具則被簡化。在典型的 Claude Code 回合中，工具區塊從約 29K token 降至約 8K token。選擇結果在每次對話中固定，以維持 prompt 快取的穩定性。被過濾的工具可透過 gateway_search_tools 恢復。使用一個小型開源嵌入模型（BAAI/bge-small-en-v1.5），完全在本地 CPU 上執行。
• 內容壓縮：使用 4B 模型將工具結果、檔案讀取和過時歷史記錄壓縮至原始大小的約 26%。壓縮後的區段會標記為 [REF:id]，並可透過 read_original 或 expand_context 恢復。
• 歷史摘要：當上下文填滿時，對近期視窗之外的回合進行摘要，使長時間的對話保持在模型的上下文視窗內。
• 即插即用整合：無需修改任何代理程式碼；代理只需指向 Paritok 而非 LLM API。
• 非破壞性：所有被壓縮或過濾的內容均可按需即時在本地恢復。

使用情境

Paritok 適用於每個回合都發送大量輸入 token 的 AI 編碼代理，例如 Claude Code、Cursor、Codex 和 OpenHands。它可用於減少長時間、多回合對話中的 token 成本，因為工具 schema、檔案讀取和歷史記錄會不斷累積。它也有助於在固定的上下文視窗中容納更多回合，避免上下文溢出或激進的客戶端壓縮。

快速開始

請參閱儲存庫的 README 以取得安裝和快速開始的說明。

授權與價格

授權為 Apache-2.0。價格類型為開源。

內容整理自該專案公開的 README 與儲存庫資訊。