mobile-use
AI 代理現在可以像人類一樣使用真實的 Android 和 iOS 應用程式。
mobile-use 是什麼?
AI 代理現在可以像人類一樣使用真實的 Android 和 iOS 應用程式。
mobile-use 概覽
這是什麼
Mobile-use 是一個開源的 AI 代理,能夠透過自然語言控制 Android 或 iOS 裝置。它理解指令並與使用者介面互動,執行傳送訊息或導航應用程式等任務。
主要功能
- 自然語言控制:使用者可以用自己的語言與手機互動。
- 感知 UI 的自動化:代理能智慧地導航應用程式介面,但對遊戲效果有限,因為遊戲不提供無障礙樹狀資料。
- 資料擷取:能從任何應用程式中提取資訊,並根據自然語言描述將其結構化為所需格式(例如 JSON)。
- 可擴展與自訂:支援多種 LLM,包括 OpenAI、Google、xAI、OpenRouter、MiniMax 等。
使用情境
- 自動化行動裝置上的例行任務,例如檢查電量或尋找未讀郵件。
- 從應用程式中提取結構化資料以供分析或報告。
- 以程式化方式測試並與應用程式 UI 互動。
快速開始
若要本機執行,請複製環境檔案並選擇性自訂 LLM 設定。若要在 Android 上快速啟動 Docker,請使用提供的 shell 腳本。手動安裝需要複製儲存庫、使用 uv 建立虛擬環境並安裝相依套件。 bash cp .env.example .env # 選擇性: cp llm-config.override.template.jsonc llm-config.override.jsonc # Docker 快速啟動(Linux/macOS): chmod +x mobile-use.sh bash ./mobile-use.sh 'Open Gmail, find first 3 unread emails, and list their sender and subject line' --output-description 'A JSON list of objects, each with 'sender' and 'subject' keys' # 手動啟動: git clone https://github.com/minitap-ai/mobile-use.git && cd mobile-use uv venv source .venv/bin/activate uv sync python ./minitap/mobile_use/main.py 'Go to settings and tell me my current battery level'
授權與價格
本專案採用 Apache-2.0 授權,為開源軟體。
內容整理自該專案公開的 README 與儲存庫資訊。