runanywhere-sdks

生產就緒的工具包,可在本地端執行 AI

runanywhere-sdks 是什麼?

生產就緒的工具包,可在本地端執行 AI 的開發套件。品牌名稱「runanywhere-sdks」保持不變。

runanywhere-sdks 概覽

這是什麼

RunAnywhere 是一套生產就緒的工具包,讓 AI 在手機、瀏覽器、桌面與伺服器上完全本地端執行。它提供八個 SDK,共用同一個 C++ 核心,並透過能力註冊表將每次呼叫路由到裝置上最合適的引擎。工具包支援 LLM、視覺、語音、語音代理、RAG、嵌入向量與圖片生成,所有功能都在裝置上執行,預設隱私、離線設計。

主要功能

  • LLM 聊天:支援 Llama、Qwen、Gemma、Phi、LFM、SmolLM、DeepSeek 等模型,具備 Token 串流、多輪對話歷史與 LoRA 適配器
  • 結構化輸出:符合 Schema 驗證的 JSON,並支援受限解碼
  • 工具呼叫:本地函式工具與代理循環(引擎支援時可平行呼叫)
  • 視覺(VLM):圖片理解、即時攝影機描述與照片問答
  • 語音轉文字(Whisper、Moonshine)與文字轉語音(Piper、Kokoro、Kitten、MeloTTS、Magpie)
  • 語音代理:將 VAD、STT、LLM 與 TTS 整合於單一管線
  • 嵌入向量(L2 正規化向量)、RAG(本地文件擷取與檢索增強回答)與圖片生成(Core ML 上的 Stable Diffusion、Hexagon NPU 上的修補)

使用情境

  • 在隱私敏感的應用中完全於裝置上執行 LLM、視覺與語音
  • 在手機或桌面上打造離線運作的語音代理
  • 本地文件搜尋與檢索增強生成(RAG)
  • 使用擴散模型在裝置上生成圖片
  • 透過單一語義 API 在多個平台(iOS、Android、Web、桌面)部署 AI

快速開始

安裝 Python 套件:

pip install runanywhere

然後在 Python 中使用:

import runanywhere as ra
from runanywhere import LlmOptions

ra.initialize()
print(ra.llm.generate("Explain on-device AI in one sentence.",
                      LlmOptions(model="qwen2.5-0.5b")).text)

如需 CLI 替代方案,請從 RunanywhereAI/wally 安裝 Wally。其他平台 SDK(Swift、Kotlin、Flutter、React Native、Web、Electron)請參閱儲存庫 README。

授權與價格

儲存庫中未明確宣告授權(NOASSERTION)。此專案標示為開源。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/runanywhereairunanywhere-sdks.svg)](https://yunodb.com/tools/runanywhereairunanywhere-sdks?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/runanywhereairunanywhere-sdks?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/runanywhereairunanywhere-sdks.svg" alt="Featured on YunoDB" height="20"></a>