runanywhere-sdks
生產就緒的工具包,可在本地端執行 AI
runanywhere-sdks 是什麼?
生產就緒的工具包,可在本地端執行 AI 的開發套件。品牌名稱「runanywhere-sdks」保持不變。
runanywhere-sdks 概覽
這是什麼
RunAnywhere 是一套生產就緒的工具包,讓 AI 在手機、瀏覽器、桌面與伺服器上完全本地端執行。它提供八個 SDK,共用同一個 C++ 核心,並透過能力註冊表將每次呼叫路由到裝置上最合適的引擎。工具包支援 LLM、視覺、語音、語音代理、RAG、嵌入向量與圖片生成,所有功能都在裝置上執行,預設隱私、離線設計。
主要功能
- LLM 聊天:支援 Llama、Qwen、Gemma、Phi、LFM、SmolLM、DeepSeek 等模型,具備 Token 串流、多輪對話歷史與 LoRA 適配器
- 結構化輸出:符合 Schema 驗證的 JSON,並支援受限解碼
- 工具呼叫:本地函式工具與代理循環(引擎支援時可平行呼叫)
- 視覺(VLM):圖片理解、即時攝影機描述與照片問答
- 語音轉文字(Whisper、Moonshine)與文字轉語音(Piper、Kokoro、Kitten、MeloTTS、Magpie)
- 語音代理:將 VAD、STT、LLM 與 TTS 整合於單一管線
- 嵌入向量(L2 正規化向量)、RAG(本地文件擷取與檢索增強回答)與圖片生成(Core ML 上的 Stable Diffusion、Hexagon NPU 上的修補)
使用情境
- 在隱私敏感的應用中完全於裝置上執行 LLM、視覺與語音
- 在手機或桌面上打造離線運作的語音代理
- 本地文件搜尋與檢索增強生成(RAG)
- 使用擴散模型在裝置上生成圖片
- 透過單一語義 API 在多個平台(iOS、Android、Web、桌面)部署 AI
快速開始
安裝 Python 套件:
pip install runanywhere
然後在 Python 中使用:
import runanywhere as ra
from runanywhere import LlmOptions
ra.initialize()
print(ra.llm.generate("Explain on-device AI in one sentence.",
LlmOptions(model="qwen2.5-0.5b")).text)
如需 CLI 替代方案,請從 RunanywhereAI/wally 安裝 Wally。其他平台 SDK(Swift、Kotlin、Flutter、React Native、Web、Electron)請參閱儲存庫 README。
授權與價格
儲存庫中未明確宣告授權(NOASSERTION)。此專案標示為開源。
內容整理自該專案公開的 README 與儲存庫資訊。