webclaw
快速、本地優先的網頁內容擷取,專為 LLM 打造。以 Rust 實現爬取、爬蟲與結構化資料擷取。支援 CLI、REST API 與 MCP 伺服器。
webclaw 是什麼?
快速、本地優先的網頁內容擷取,專為 LLM 打造。以 Rust 實現爬取、爬蟲與結構化資料擷取。支援 CLI、REST API 與 MCP 伺服器。
webclaw 概覽
這是什麼
webclaw 是一個以 Rust 打造、快速且優先本機執行的網頁內容萃取工具。它能將網址轉換為乾淨的 Markdown、JSON 以及適合大型語言模型使用的內容。提供命令列介面、REST API、MCP 伺服器,以及供 AI 代理與 RAG 管線使用的 SDK。本專案採用 AGPL-3.0 授權條款,為開放原始碼軟體。
主要功能
- 擷取單一頁面,回傳乾淨的 Markdown 或最佳化給 LLM 使用的文字。
- 爬取多個頁面,並使用 CSS 選擇器或 XPath 萃取結構化資料。
- 將頁面中的資料表格萃取為 JSON 陣列。
- 依文字或正規表達式尋找元素,並找出相似元素。
- 包含或排除特定的 CSS 選擇器,僅保留主要內容。
- 提供可自行架設的伺服器,以及 webclaw.io 上的託管 API。
使用情境
- 為 LLM 脈絡或 RAG 管線準備網頁內容。
- 從網站萃取結構化資料(例如產品價格、表格資料)。
- 透過 MCP 將 AI 代理(Claude、Cursor 等)連接到網頁內容。
- 從終端機或 Python 腳本自動化網頁抓取任務。
快速開始
透過 Homebrew 安裝: bash brew tap 0xMassi/webclaw brew install webclaw 或透過 Docker: bash docker run --rm ghcr.io/0xmassi/webclaw https://example.com 或透過 Cargo: bash cargo install --git https://github.com/0xMassi/webclaw.git --tag v0.7.4 --locked webclaw-cli 代理設定(Claude Code、Cursor 等): bash npx create-webclaw Python 安裝: bash cd python && uv build --wheel && pip install dist/webclaw_cli-*.whl
授權與價格
本專案採用 AGPL-3.0 授權。託管 API 的價格未說明;命令列介面、MCP 伺服器與萃取引擎為開放原始碼。
內容整理自該專案公開的 README 與儲存庫資訊。