RWKV-Runner
RWKV 管理與啟動工具,全自動化,僅 8MB。並提供與 OpenAI API 相容的介面。RWKV 是一個大型語言模型,它是
RWKV-Runner 是什麼?
RWKV 管理與啟動工具,全自動化,僅 8MB。並提供與 OpenAI API 相容的介面。RWKV 是一個完全開源且可商用的大型語言模型。
RWKV-Runner 概覽
這是什麼
RWKV-Runner 是 RWKV 的管理與啟動工具。README 將 RWKV 描述為完全開源且可商用的語言模型。此專案旨在透過自動化所有流程,消除使用大型語言模型的門檻;README 指出,只需要一個幾 MB 的輕量可執行檔。它也提供與 OpenAI API 相容的介面,因此每個 ChatGPT 用戶端都能成為 RWKV 用戶端。
主要功能
- RWKV 模型管理與一鍵啟動,並自動安裝相依套件,只需一個輕量可執行檔。
- 前後端分離:可分別部署前端服務、後端推論服務,或附帶 WebUI 的後端推論服務。
- 相容於 OpenAI API;啟動模型後,開啟 http://127.0.0.1:8000/docs 可查看詳細資訊。
- 預設多層級 VRAM 設定;在 Configs 頁面將 Strategy 切換為 WebGPU,即可在 AMD、Intel 等顯示卡上執行。
- 提供易用的聊天、補全與作曲介面,包含聊天預設、附件上傳、MIDI 硬體輸入與軌道編輯。
- 內建模型轉換工具、下載管理、遠端模型檢查,以及一鍵 LoRA 微調(僅限 Windows)。
- 在 Settings 頁面填入 API URL 與 API Key,也可作為 OpenAI ChatGPT、GPT-Playground、Ollama、llmman 等用戶端使用;並具備多語言在地化、主題切換與自動更新。
使用情境
- 在本機以自動化設定與一鍵啟動執行 RWKV 模型。
- 提供 OpenAI 相容端點,讓現有的 ChatGPT 用戶端使用 RWKV。
- 將 backend-python 部署於伺服器,並在 Settings 的
API URL填入伺服器位址,將此程式作為用戶端使用。 - 透過內建的 WebUI 選項一鍵啟動 Web 服務,分享硬體資源。
- 使用 MIDI 硬體輸入進行作曲,包含 USB MIDI 與藍牙 MIDI 連線。
快速開始
可透過 Windows、MacOS 或 Linux 下載安裝,或從原始碼執行: bash git clone https://github.com/josStorer/RWKV-Runner cd RWKV-Runner python ./backend-python/main.py # 請求 /switch-model API 載入模型,文件:http://127.0.0.1:8000/docs # 或同時啟動前端與後端: python ./backend-python/main.py --webui
授權與價格
RWKV-Runner 以 MIT 授權釋出。中繼資料將其列為開源;未提及價格。
內容整理自該專案公開的 README 與儲存庫資訊。