webclaw

快速、本地優先的網頁內容擷取,專為 LLM 打造。以 Rust 實現爬取、爬蟲與結構化資料擷取。支援 CLI、REST API 與 MCP 伺服器。

webclaw 是什麼?

快速、本地優先的網頁內容擷取,專為 LLM 打造。以 Rust 實現爬取、爬蟲與結構化資料擷取。支援 CLI、REST API 與 MCP 伺服器。

webclaw 概覽

這是什麼

webclaw 是一個以 Rust 打造、快速且優先本機執行的網頁內容萃取工具。它能將網址轉換為乾淨的 Markdown、JSON 以及適合大型語言模型使用的內容。提供命令列介面、REST API、MCP 伺服器,以及供 AI 代理與 RAG 管線使用的 SDK。本專案採用 AGPL-3.0 授權條款,為開放原始碼軟體。

主要功能

  • 擷取單一頁面,回傳乾淨的 Markdown 或最佳化給 LLM 使用的文字。
  • 爬取多個頁面,並使用 CSS 選擇器或 XPath 萃取結構化資料。
  • 將頁面中的資料表格萃取為 JSON 陣列。
  • 依文字或正規表達式尋找元素,並找出相似元素。
  • 包含或排除特定的 CSS 選擇器,僅保留主要內容。
  • 提供可自行架設的伺服器,以及 webclaw.io 上的託管 API。

使用情境

  • 為 LLM 脈絡或 RAG 管線準備網頁內容。
  • 從網站萃取結構化資料(例如產品價格、表格資料)。
  • 透過 MCP 將 AI 代理(Claude、Cursor 等)連接到網頁內容。
  • 從終端機或 Python 腳本自動化網頁抓取任務。

快速開始

透過 Homebrew 安裝: bash brew tap 0xMassi/webclaw brew install webclaw 或透過 Docker: bash docker run --rm ghcr.io/0xmassi/webclaw https://example.com 或透過 Cargo: bash cargo install --git https://github.com/0xMassi/webclaw.git --tag v0.7.4 --locked webclaw-cli 代理設定(Claude Code、Cursor 等): bash npx create-webclaw Python 安裝: bash cd python && uv build --wheel && pip install dist/webclaw_cli-*.whl

授權與價格

本專案採用 AGPL-3.0 授權。託管 API 的價格未說明;命令列介面、MCP 伺服器與萃取引擎為開放原始碼。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/0xmassiwebclaw.svg)](https://yunodb.com/tools/0xmassiwebclaw?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/0xmassiwebclaw?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/0xmassiwebclaw.svg" alt="Featured on YunoDB" height="20"></a>