rkllama
rkllama：為 Rockchip NPU 打造的 Ollama 替代方案——在 Rockchip 裝置上高效運行 AI 與深度學習模型，並提供最佳化 NPU 支援（rkllm）
rkllama 是什麼？
rkllama 為 Rockchip NPU 打造的 Ollama 替代方案：在 Rockchip 裝置上高效運行 AI 與深度學習模型，並提供最佳化 NPU 支援（rkllm）
rkllama 概覽
這是什麼
rkllama 是一個伺服器與客戶端，專為在 Rockchip RK3588(S) 與 RK3576 平台上執行與互動大型語言模型（LLM）而設計。它是 Ollama 與 Llama.cpp 的替代方案，能讓模型在 Rockchip NPU（神經處理單元）上執行。該專案使用 rkllm-runtime 函式庫（版本 1.3.0）與 rknn-runtime 函式庫（版本 2.3.2）。支援 Python 3.9 至 3.12，並已在 Orange Pi 5 Pro、Orange Pi 5 Plus、Orange Pi 5 Max 與 Radxa Rock 4d 等硬體上測試，作業系統為 Ubuntu 24.04 或 Armbian Linux。
主要功能
- 在 Rockchip 裝置上透過 NPU 加速 LLM 推論。
- Ollama API 相容性：支援
/api/chat、/api/generate、/api/ps、/api/tags、/api/embed、/api/version、/api/pull端點。 - 部分 OpenAI API 相容性：支援
/v1/completions、/v1/chat/completions、/v1/embeddings、/v1/images/generations、/v1/audio/speech、/v1/audio/transcriptions、/v1/audio/translations端點。 - 工具/函式呼叫支援，相容多種 LLM 格式（Qwen、Llama 3.2+ 等）。
- 動態載入與卸載模型，並自動儲存與還原提示快取。
- 多模態支援：視覺模型（Qwen2VL、Qwen2.5VL、Qwen3VL、MiniCPMV4、MiniCPMV4.5、InternVL3.5）、圖片生成（LCM Stable Diffusion 1.5 RKNN）、文字轉語音（Piper TTS、MMS-TTS）與語音轉文字（omniASR-CTC、Whisper）。
- 支援 .GGUF 模型，透過 llama.cpp 分支（rk-llama.cpp）執行。
使用情境
- 在 Rockchip 單板電腦（Orange Pi、Radxa）上使用 NPU 加速執行 LLM。
- 部署本地 AI 伺服器，用於聊天、文字生成、嵌入向量與音訊任務。
- 透過 Ollama 相容或 OpenAI 相容 API 與 OpenWebUI 等工具或自訂應用程式整合。
- 使用視覺模型回答圖片問題、從文字生成圖片，以及執行語音轉文字或文字轉語音。
- 實驗工具/函式呼叫以實現代理式工作流程。
快速開始
標準安裝： bash git clone https://github.com/notpunchnox/rkllama cd rkllama python -m pip install . 啟動伺服器： bash rkllama_server --models --llamacpp 啟動客戶端： bash rkllama_client Docker 安裝： bash docker pull ghcr.io/notpunchnox/rkllama:main docker run -it --privileged -p 8080:8080 -v :/opt/rkllama/models ghcr.io/notpunchnox/rkllama:main
授權與價格
本專案為開源軟體，採用 GPL-3.0 授權。
內容整理自該專案公開的 README 與儲存庫資訊。
