midscene
AI 驅動、視覺導向的 UI 自動化,適用於各種平台。
midscene 是什麼?
AI 驅動、視覺導向的 UI 自動化,適用於各種平台。。注意:原文 summary 與 tagline 相同,但結尾多了一個句點。為忠於原文,保留此差異。
midscene 概覽
這是什麼
Midscene.js 是一個以 AI 驅動、以視覺為基礎的 UI 自動化工具,用於端到端測試。它透過視覺 GUI Agent 觀察螢幕、對元素進行操作,並驗證結果。支援網頁、行動裝置與桌面平台。
主要功能
- 使用自然語言(YAML 或 JavaScript)撰寫測試案例。
- 根據螢幕截圖中元素的外觀與位置進行定位與互動,無需維護選擇器。
- 驗證可見的 UI 狀態,例如顏色、高亮、版面配置,以及 canvas 或原生應用程式中的內容。
- 跨平台支援:網頁(Playwright、Puppeteer、桌面 Chrome)、Android(ADB)、iOS(WebDriverAgent)、HarmonyOS(HDC)、桌面(macOS、Windows、Linux、RDP)以及自訂介面。
- 支援多種 AI 模型:GPT、Qwen、Doubao Seed、DeepSeek、Gemini、Kimi 以及開源選項。
- Midscene Test 框架提供 YAML 測試案例、可重複使用的 TypeScript Nodes、生命週期鉤子、重試機制、並行執行與步驟層級報告。
使用情境
- 針對網頁、行動裝置與桌面應用程式進行端到端測試。
- 測試傳統選擇器無法捕捉的視覺外觀與行為。
- 自動化需要視覺驗證的複雜工作流程。
- 將 AI 驅動的 UI 自動化整合至現有測試套件(Playwright、Vitest)。
快速開始
請參閱儲存庫的 README 以取得安裝與快速入門說明。
授權與價格
採用 MIT 授權。開放原始碼。
內容整理自該專案公開的 README 與儲存庫資訊。