crw

快速、輕量的 Firecrawl/Tavily 替代方案(Rust)。具備網路爬蟲、搜尋 API 及 MCP 伺服器,專為 AI 代理設計。Drop-in Firecrawl 相容 API (/scrape、/crawl、/search)。

crw 是什麼?

crw 是一款使用 Rust 開發、快速且輕量的 Firecrawl/Tavily 替代方案。它提供網路爬蟲、搜尋 API 及 MCP 伺服器,專為 AI 代理設計。具備 Drop-in Firecrawl 相容 API (/scrape、/crawl、/search)。在 1K 網址基準測試中,速度比 Tavily 快 2.3 倍、比 Firecrawl 快 1.5 倍。僅需 6 MB 記憶體與單一二進位檔。可自行託管或使用代管雲端服務。

crw 概覽

這是什麼

crw 是一個用 Rust 開發的開源網頁抓取、爬蟲與搜尋工具。它可以作為單一二進位檔在本機執行,或透過受管的雲端 API 使用。crw 被設計成 Firecrawl 與 Tavily 的更快替代方案,並提供與 Firecrawl 相容的 API,包含 /scrape、/crawl 與 /search 端點。本專案也包含一個專為 AI 代理設計的 MCP 伺服器。

主要功能

  • 透過 scrape、crawl、map、search 與 extract 操作,將 URL 轉換為乾淨的 Markdown、HTML、連結、螢幕截圖或結構化 JSON。
  • 根據 Firecrawl 公開的 1,000 個 URL 資料集,宣稱比 Tavily 快 2.3 倍,比 Firecrawl 快 1.5 倍。
  • 閒置時僅耗用約 14 MB RAM,且以單一二進位檔執行。
  • 提供 CLI、Python SDK、Node.js SDK 與 REST API。
  • 支援自架本機部署或受管雲端服務,提供 1,000 個免費額度(無需信用卡)。
  • 包含 MCP 伺服器,可自動與 Claude Code、Cursor、Codex、Gemini CLI、OpenCode 及 Windsurf 等 AI 編碼工具整合。

使用情境

  • 將網頁轉換為 Markdown 或結構化資料,供 AI 代理使用。
  • 以程式化方式執行網頁搜尋並提取結果。
  • 在限定範圍內爬取網站,收集所有頁面。
  • 發現網站上的 URL,無需抓取每個頁面。
  • 從一個或多個 URL 中提取結構化欄位,用於資料管線。

快速開始

若要在本機安裝 CLI,請執行:bashcurl -fsSL https://fastcrw.com/install | sh安裝完成後,您可以立即使用 crw https://example.com 抓取 URL。若要使用雲端 API,請在安裝時貼上您的 API 金鑰:bashcurl -fsSL https://fastcrw.com/install | CRW_API_KEY=crw_live_... shPython SDK:pip install crw,然後使用 CrwClient。Node.js SDK:npm install crw-sdk,然後使用 CrwClient。AI 代理的 MCP 伺服器:npx -y crw-mcp@latest install。

授權與價格

引擎與 MCP 伺服器採用 AGPL-3.0 授權。Python 與 TypeScript SDK 採用 MIT 授權。後設資料指出授權為 AGPL-3.0,定價類型為開源。受管雲端服務提供 1,000 個免費額度,無需信用卡;進一步的定價細節未說明。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/fastcrwcrw.svg)](https://yunodb.com/tools/fastcrwcrw?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/fastcrwcrw?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/fastcrwcrw.svg" alt="Featured on YunoDB" height="20"></a>