computer-use-linux
為 AI 代理提供原生 Linux 桌面控制 (MCP、Pi、CLI) — 跨 GNOME、KDE、Hyprland、niri、COSMIC、i3 及 X11 的語意 AT-SPI 樹狀結構、螢幕截圖、視窗定位與輸入功能。
computer-use-linux 是什麼?
為 AI 代理提供原生 Linux 桌面控制 (MCP、Pi、CLI) — 跨 GNOME、KDE、Hyprland、niri、COSMIC、i3 及 X11 的語意 AT-SPI 樹狀結構、螢幕截圖、視窗定位與輸入功能。
computer-use-linux 概覽
這是什麼
computer-use-linux 是一個 Rust 撰寫的 MCP 伺服器與命令列工具,用於原生 Linux 桌面控制。它透過語意化的 AT-SPI 無障礙樹、有邊界的螢幕截圖、支援合成器的視窗定位、Wayland/X11 輸入合成、單次往返的動作後驗證,以及可點穿的螢幕活動指示器,讓 AI 代理程式能夠結構化地控制本機 Linux 桌面。支援 GNOME、KDE Plasma/KWin、Hyprland、niri、COSMIC、i3 與 X11/EWMH。
主要功能
- 語意化的 AT-SPI 無障礙樹,用於元素檢查與互動 - 支援多種桌面環境的合成器感知視窗定位 - 透過 /dev/uinput 或 org.freedesktop.portal.RemoteDesktop 進行 Wayland 輸入合成,並有備援方案 - 單次往返的動作後驗證(每次動作後回傳螢幕截圖與更新的無障礙樹) - 可點穿的螢幕活動指示器,會在螢幕截圖前自動隱藏 - 透過
doctor工具產生單一 JSON 就緒報告
使用情境
AI 代理程式控制本機 Linux 桌面,執行點擊、打字、拖曳、螢幕截圖與檢查無障礙樹等任務。亦可用於桌面自動化與測試。
快速開始
透過 npm 或原始碼安裝全域命令列工具,然後驗證桌面就緒狀態: bash npm install -g @agent-sh/computer-use-linux # 或從原始碼安裝: git clone https://github.com/agent-sh/computer-use-linux && cd computer-use-linux && ./install.sh computer-use-linux doctor | jq .readiness computer-use-linux setup computer-use-linux setup-window-targeting 針對特定代理程式的安裝方式(Claude Code、Codex CLI、Pi Coding Agent、Hermes Agent),請參閱儲存庫的 README。
授權與價格
MIT 授權,開放原始碼。
內容整理自該專案公開的 README 與儲存庫資訊。