LLM2Jev
將本地語言模型轉換為 Jev 風格結構化決策模型。僅透過預填即可從文字與影像獲取結果,無需逐 token 解碼。
LLM2Jev 是什麼?
將本地語言模型轉換為 Jev 風格結構化決策模型。僅透過預填即可從文字與影像獲取結果,無需逐 token 解碼。
LLM2Jev 概覽
這是什麼
LLM2Jev 是一個開源工具,能將本機語言模型(LLM)與多模態語言模型(MLLM)轉換為 Jev 風格的結構化決策模型。使用者只需透過預填充(prefill)即可從文字與圖片中取得決策機率,無需逐 token 解碼。該專案支援 SGLang、Transformers 與 MLX 後端,並提供基於 OpenAI SDK 的 Python 客戶端。
主要功能
- 無需訓練或微調;直接使用現有模型權重,搭配 SGLang、Transformers 或 Apple Silicon 上的 MLX。
- 聊天與決策共享同一服務與模型(使用 SGLang 後端時)。
- 聊天與決策共享同一客戶端:
Client與AsyncClient透過systemone.create()擴充 OpenAI Python SDK。 - 僅預填充評分:
Choice、Score與Noul讀取 yes/no logits 而不產生回答;Box產生正規化的圖片座標。 - 支援文字與圖片決策,可將兩者結合於
state或instructions中。 - 單次請求支援四種問題類型:混合
Choice、Score、Noul與Box,取得選項機率、評分量表、yes/no 機率與圖片邊界框。 - 重複使用共享前綴以減少跨候選項的重複計算,透過 SGLang 的 Radix Cache 或 MLX 的明確前綴預填充實現。
使用情境
- 從文字與圖片進行分類、評分與動作選擇。
- 為客服路由、內容審核或遊戲 AI 建立決策引擎。
- 在單一服務中結合聊天與結構化決策,適用於需要對話式與確定性輸出的應用。
快速開始
在配備支援 NVIDIA GPU 的 Linux 系統上,啟動一個 SGLang 服務以同時處理聊天與決策: bash git clone https://github.com/Yinsongxu/LLM2Jev.git cd LLM2Jev uv sync --extra sglang source .venv/bin/activate llm2jev-serve --backend sglang --model-path /path/to/model --served-model-name local-model --host 127.0.0.1 --port 30000 將 /path/to/model 替換為 SGLang 支援的模型目錄。接著使用 Python 客戶端呼叫兩個端點。完整安裝與使用說明請參閱儲存庫 README。
授權與價格
採用 Apache License 2.0 授權。此專案為開源軟體。
內容整理自該專案公開的 README 與儲存庫資訊。