LLM2Jev

將本地語言模型轉換為 Jev 風格結構化決策模型。僅透過預填即可從文字與影像獲取結果,無需逐 token 解碼。

LLM2Jev 是什麼?

將本地語言模型轉換為 Jev 風格結構化決策模型。僅透過預填即可從文字與影像獲取結果,無需逐 token 解碼。

LLM2Jev 概覽

這是什麼

LLM2Jev 是一個開源工具,能將本機語言模型(LLM)與多模態語言模型(MLLM)轉換為 Jev 風格的結構化決策模型。使用者只需透過預填充(prefill)即可從文字與圖片中取得決策機率,無需逐 token 解碼。該專案支援 SGLang、Transformers 與 MLX 後端,並提供基於 OpenAI SDK 的 Python 客戶端。

主要功能

  • 無需訓練或微調;直接使用現有模型權重,搭配 SGLang、Transformers 或 Apple Silicon 上的 MLX。
  • 聊天與決策共享同一服務與模型(使用 SGLang 後端時)。
  • 聊天與決策共享同一客戶端:Client 與 AsyncClient 透過 systemone.create() 擴充 OpenAI Python SDK。
  • 僅預填充評分:Choice、Score 與 Noul 讀取 yes/no logits 而不產生回答;Box 產生正規化的圖片座標。
  • 支援文字與圖片決策,可將兩者結合於 state 或 instructions 中。
  • 單次請求支援四種問題類型:混合 Choice、Score、Noul 與 Box,取得選項機率、評分量表、yes/no 機率與圖片邊界框。
  • 重複使用共享前綴以減少跨候選項的重複計算,透過 SGLang 的 Radix Cache 或 MLX 的明確前綴預填充實現。

使用情境

  • 從文字與圖片進行分類、評分與動作選擇。
  • 為客服路由、內容審核或遊戲 AI 建立決策引擎。
  • 在單一服務中結合聊天與結構化決策,適用於需要對話式與確定性輸出的應用。

快速開始

在配備支援 NVIDIA GPU 的 Linux 系統上,啟動一個 SGLang 服務以同時處理聊天與決策: bash git clone https://github.com/Yinsongxu/LLM2Jev.git cd LLM2Jev uv sync --extra sglang source .venv/bin/activate llm2jev-serve --backend sglang --model-path /path/to/model --served-model-name local-model --host 127.0.0.1 --port 30000 將 /path/to/model 替換為 SGLang 支援的模型目錄。接著使用 Python 客戶端呼叫兩個端點。完整安裝與使用說明請參閱儲存庫 README。

授權與價格

採用 Apache License 2.0 授權。此專案為開源軟體。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/yinsongxullm2jev.svg)](https://yunodb.com/tools/yinsongxullm2jev?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/yinsongxullm2jev?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/yinsongxullm2jev.svg" alt="Featured on YunoDB" height="20"></a>