midscene

AI 驅動、視覺導向的 UI 自動化,適用於各種平台。

midscene 是什麼?

AI 驅動、視覺導向的 UI 自動化,適用於各種平台。。注意:原文 summary 與 tagline 相同,但結尾多了一個句點。為忠於原文,保留此差異。

midscene 概覽

這是什麼

Midscene.js 是一個以 AI 驅動、以視覺為基礎的 UI 自動化工具,用於端到端測試。它透過視覺 GUI Agent 觀察螢幕、對元素進行操作,並驗證結果。支援網頁、行動裝置與桌面平台。

主要功能

  • 使用自然語言(YAML 或 JavaScript)撰寫測試案例。
  • 根據螢幕截圖中元素的外觀與位置進行定位與互動,無需維護選擇器。
  • 驗證可見的 UI 狀態,例如顏色、高亮、版面配置,以及 canvas 或原生應用程式中的內容。
  • 跨平台支援:網頁(Playwright、Puppeteer、桌面 Chrome)、Android(ADB)、iOS(WebDriverAgent)、HarmonyOS(HDC)、桌面(macOS、Windows、Linux、RDP)以及自訂介面。
  • 支援多種 AI 模型:GPT、Qwen、Doubao Seed、DeepSeek、Gemini、Kimi 以及開源選項。
  • Midscene Test 框架提供 YAML 測試案例、可重複使用的 TypeScript Nodes、生命週期鉤子、重試機制、並行執行與步驟層級報告。

使用情境

  • 針對網頁、行動裝置與桌面應用程式進行端到端測試。
  • 測試傳統選擇器無法捕捉的視覺外觀與行為。
  • 自動化需要視覺驗證的複雜工作流程。
  • 將 AI 驅動的 UI 自動化整合至現有測試套件(Playwright、Vitest)。

快速開始

請參閱儲存庫的 README 以取得安裝與快速入門說明。

授權與價格

採用 MIT 授權。開放原始碼。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/web-infra-devmidscene.svg)](https://yunodb.com/tools/web-infra-devmidscene?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/web-infra-devmidscene?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/web-infra-devmidscene.svg" alt="Featured on YunoDB" height="20"></a>