RWKV-Runner

RWKV 管理與啟動工具,全自動化,僅 8MB。並提供與 OpenAI API 相容的介面。RWKV 是一個大型語言模型,它是

RWKV-Runner 是什麼?

RWKV 管理與啟動工具,全自動化,僅 8MB。並提供與 OpenAI API 相容的介面。RWKV 是一個完全開源且可商用的大型語言模型。

RWKV-Runner 概覽

這是什麼

RWKV-Runner 是 RWKV 的管理與啟動工具。README 將 RWKV 描述為完全開源且可商用的語言模型。此專案旨在透過自動化所有流程,消除使用大型語言模型的門檻;README 指出,只需要一個幾 MB 的輕量可執行檔。它也提供與 OpenAI API 相容的介面,因此每個 ChatGPT 用戶端都能成為 RWKV 用戶端。

主要功能

  • RWKV 模型管理與一鍵啟動,並自動安裝相依套件,只需一個輕量可執行檔。
  • 前後端分離:可分別部署前端服務、後端推論服務,或附帶 WebUI 的後端推論服務。
  • 相容於 OpenAI API;啟動模型後,開啟 http://127.0.0.1:8000/docs 可查看詳細資訊。
  • 預設多層級 VRAM 設定;在 Configs 頁面將 Strategy 切換為 WebGPU,即可在 AMD、Intel 等顯示卡上執行。
  • 提供易用的聊天、補全與作曲介面,包含聊天預設、附件上傳、MIDI 硬體輸入與軌道編輯。
  • 內建模型轉換工具、下載管理、遠端模型檢查,以及一鍵 LoRA 微調(僅限 Windows)。
  • 在 Settings 頁面填入 API URL 與 API Key,也可作為 OpenAI ChatGPT、GPT-Playground、Ollama、llmman 等用戶端使用;並具備多語言在地化、主題切換與自動更新。

使用情境

  • 在本機以自動化設定與一鍵啟動執行 RWKV 模型。
  • 提供 OpenAI 相容端點,讓現有的 ChatGPT 用戶端使用 RWKV。
  • 將 backend-python 部署於伺服器,並在 Settings 的 API URL 填入伺服器位址,將此程式作為用戶端使用。
  • 透過內建的 WebUI 選項一鍵啟動 Web 服務,分享硬體資源。
  • 使用 MIDI 硬體輸入進行作曲,包含 USB MIDI 與藍牙 MIDI 連線。

快速開始

可透過 Windows、MacOS 或 Linux 下載安裝,或從原始碼執行: bash git clone https://github.com/josStorer/RWKV-Runner cd RWKV-Runner python ./backend-python/main.py # 請求 /switch-model API 載入模型,文件:http://127.0.0.1:8000/docs # 或同時啟動前端與後端: python ./backend-python/main.py --webui

授權與價格

RWKV-Runner 以 MIT 授權釋出。中繼資料將其列為開源;未提及價格。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/josstorerrwkv-runner.svg)](https://yunodb.com/tools/josstorerrwkv-runner?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/josstorerrwkv-runner?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/josstorerrwkv-runner.svg" alt="Featured on YunoDB" height="20"></a>