crw
快速、輕量的 Firecrawl/Tavily 替代方案(Rust)。具備網路爬蟲、搜尋 API 及 MCP 伺服器,專為 AI 代理設計。Drop-in Firecrawl 相容 API (/scrape、/crawl、/search)。
crw 是什麼?
crw 是一款使用 Rust 開發、快速且輕量的 Firecrawl/Tavily 替代方案。它提供網路爬蟲、搜尋 API 及 MCP 伺服器,專為 AI 代理設計。具備 Drop-in Firecrawl 相容 API (/scrape、/crawl、/search)。在 1K 網址基準測試中,速度比 Tavily 快 2.3 倍、比 Firecrawl 快 1.5 倍。僅需 6 MB 記憶體與單一二進位檔。可自行託管或使用代管雲端服務。
crw 概覽
這是什麼
crw 是一個用 Rust 開發的開源網頁抓取、爬蟲與搜尋工具。它可以作為單一二進位檔在本機執行,或透過受管的雲端 API 使用。crw 被設計成 Firecrawl 與 Tavily 的更快替代方案,並提供與 Firecrawl 相容的 API,包含 /scrape、/crawl 與 /search 端點。本專案也包含一個專為 AI 代理設計的 MCP 伺服器。
主要功能
- 透過 scrape、crawl、map、search 與 extract 操作,將 URL 轉換為乾淨的 Markdown、HTML、連結、螢幕截圖或結構化 JSON。
- 根據 Firecrawl 公開的 1,000 個 URL 資料集,宣稱比 Tavily 快 2.3 倍,比 Firecrawl 快 1.5 倍。
- 閒置時僅耗用約 14 MB RAM,且以單一二進位檔執行。
- 提供 CLI、Python SDK、Node.js SDK 與 REST API。
- 支援自架本機部署或受管雲端服務,提供 1,000 個免費額度(無需信用卡)。
- 包含 MCP 伺服器,可自動與 Claude Code、Cursor、Codex、Gemini CLI、OpenCode 及 Windsurf 等 AI 編碼工具整合。
使用情境
- 將網頁轉換為 Markdown 或結構化資料,供 AI 代理使用。
- 以程式化方式執行網頁搜尋並提取結果。
- 在限定範圍內爬取網站,收集所有頁面。
- 發現網站上的 URL,無需抓取每個頁面。
- 從一個或多個 URL 中提取結構化欄位,用於資料管線。
快速開始
若要在本機安裝 CLI,請執行:bashcurl -fsSL https://fastcrw.com/install | sh安裝完成後,您可以立即使用 crw https://example.com 抓取 URL。若要使用雲端 API,請在安裝時貼上您的 API 金鑰:bashcurl -fsSL https://fastcrw.com/install | CRW_API_KEY=crw_live_... shPython SDK:pip install crw,然後使用 CrwClient。Node.js SDK:npm install crw-sdk,然後使用 CrwClient。AI 代理的 MCP 伺服器:npx -y crw-mcp@latest install。
授權與價格
引擎與 MCP 伺服器採用 AGPL-3.0 授權。Python 與 TypeScript SDK 採用 MIT 授權。後設資料指出授權為 AGPL-3.0,定價類型為開源。受管雲端服務提供 1,000 個免費額度,無需信用卡;進一步的定價細節未說明。
內容整理自該專案公開的 README 與儲存庫資訊。