flutter_edge_ai

flutter_edge_ai 概覽

這是什麼

Flutter Edge AI 是一個裝置端 AI SDK，專為 Flutter 設計，可在 Android、iOS、Web、macOS、Windows 與 Linux 上執行 Gemma 及其他大型語言模型、多模態功能、函式呼叫、嵌入向量、檢索增強生成（RAG）與語音。專案描述強調無伺服器、無雲端。核心套件負責安裝模型並將其交由獨立引擎套件處理；每個執行時期、儲存空間與功能都是單獨的選用套件，使應用程式僅包含所需內容。

主要功能

• 支援 Android、iOS、Web、macOS、Windows 與 Linux。
• 支援多種引擎：LiteRT-LM (.litertlm)、MediaPipe (.task)、llama.cpp (.gguf)、ONNX Runtime，以及作業系統內建模型（Android 上的 Gemini Nano、iOS/macOS 上的 Apple Foundation Models、Windows AI Foundry、瀏覽器 Prompt API）。
• 提供嵌入向量、裝置端 RAG，支援 SQLite (sqlite-vec) 或 Qdrant Edge 向量儲存。
• 包含語音轉文字、文字轉語音及語音循環 session。
• 提供代理技能（文字、JS、原生意圖、MCP 工具）。
• 包含 Genkit Dart 外掛與混合路由，可同時使用裝置端與雲端模型。

使用情境

• 在行動與桌面應用程式中本地執行大型語言模型，無需伺服器。
• 建構具有函式呼叫與 RAG 的裝置端 AI 助手。
• 實作語音介面（語音轉文字、文字轉語音）。
• 以模組化、選用套件架構將 AI 整合至跨平台 Flutter 應用程式。

快速開始

請參閱儲存庫 README 以取得安裝與快速開始指令。

授權與價格

採用 MIT 授權。

內容整理自該專案公開的 README 與儲存庫資訊。