searxNcrawl
開放原始碼 MCP 伺服器,為 AI 代理提供網頁搜尋(SearXNG)與頁面、整個網站及登入區域的乾淨 Markdown 爬取。自行託管,無需 API 金鑰。
searxNcrawl 是什麼?
開放原始碼 MCP 伺服器,為 AI 代理提供網頁搜尋(SearXNG)與頁面、整個網站及登入區域的乾淨 Markdown 爬取。自行託管,無需 API 金鑰。計畫推出相容 Firecrawl 的 API。
searxNcrawl 概覽
這是什麼
searxNcrawl 是一個開源的 MCP 伺服器與 CLI 工具組,讓 AI 代理能夠進行網頁搜尋與乾淨的 Markdown 爬取。它建構在 Crawl4AI 之上。搜尋功能會平行查詢已設定的提供者(SearXNG 和/或 You.com),並合併結果。它可以在你自己的硬體上執行,使用 SearXNG 時不需要 API 金鑰,並且取代了 searxng-mcp。
主要功能
- 網頁搜尋:平行查詢你自己的 SearXNG 實例和/或 You.com API;結果會合併並標註來源提供者,可依語言和時間範圍篩選。
- 頁面爬取:將一個或多個 URL 轉換為 Markdown 或 JSON,移除重複區塊,並可選擇性地移除連結。
- 網站爬取:爬取整個網站,可設定深度與頁數限制,針對文件網站最佳化。
- 認證爬取:使用 crawl-capture 一次擷取登入工作階段,之後即可爬取登入後的頁面。
- STDIO 與 HTTP:可連接至本機 MCP 客戶端,或執行 HTTP 端點,並可選擇啟用 Host/Origin 檢查與可設定的 CORS。
- CLI 與 Python API:可在命令列執行 crawl、search 與 crawl-capture,或在 Python 中匯入使用。
使用情境
searxNcrawl 專為需要搜尋網頁並將頁面爬取為乾淨 Markdown 的 AI 代理設計。它適用於自架環境,無需搜尋 API 金鑰,也適合爬取文件網站或登入後的頁面。可與 Claude Code、Codex、Cursor、VS Code 及 Claude Desktop 等 MCP 客戶端搭配使用。
快速開始
你需要 uv,並且為了使用搜尋工具,至少需要一個搜尋提供者:一個啟用 JSON 輸出的 SearXNG 實例和/或 You.com API 金鑰(YDC_API_KEY)。爬取功能則不需要這兩者。bashSEARXNG_URL=http://your-searxng:8888 uvx searxncrawl每個代理的設定方式請參閱儲存庫的 README。
授權與價格
授權:MIT。價格:開源(免費)。
內容整理自該專案公開的 README 與儲存庫資訊。