crawl4ai

官方 Crawl4AI Cloud:為 AI 代理提供的託管式網頁爬取、提取和搜尋 API。免費 API 金鑰,每月 1,000 點額度,無需信用卡。完全開源:此

crawl4ai 是什麼?

官方 Crawl4AI Cloud:為 AI 代理提供的託管式網頁爬取、提取和搜尋 API。免費 API 金鑰,每月 1,000 點額度,無需信用卡。完全開源:此儲存庫是驅動它的 Apache-2.0 爬蟲,您可以自行託管。

crawl4ai 概覽

這是什麼

Crawl4AI 是一個開源的網路爬蟲與擷取工具,專為大型語言模型(LLM)與 AI 代理設計。它能將任何網站轉換成乾淨、LLM 可直接使用的 Markdown 格式。使用者可以自行執行(永久免費),或使用 Crawl4AI Cloud 託管服務(只需一組 API 金鑰)。本專案採用 Apache-2.0 授權,歸類於 AI 類別。

主要功能

  • Markdown 生成:產生包含標題、列表、表格、程式碼區塊與引用提示的乾淨 Markdown;支援 PruningContentFilterLXML、BM25ContentFilter 與 LLMContentFilter 等過濾器。
  • 結構化資料擷取:支援 CSS/XPath 結構描述、LLM 擷取(任何提供者)、結構描述產生器、分塊(主題、正規表達式、句子)與餘弦相似度搜尋。
  • 瀏覽器控制:持久化設定檔、透過 CDP 連接遠端瀏覽器、工作階段、代理伺服器(含認證與輪換)、隱匿模式、支援 Chromium、Firefox 與 WebKit。
  • 深度爬取:BFS、DFS、最佳優先策略、當機復原(resume_state)、自適應爬取(AdaptiveCrawler)、URL 發現(AsyncUrlSeeder、DomainMapper)、動態頁面處理(JavaScript、無限滾動)。
  • 自行託管(Docker):REST API 端點(/md、/html、/crawl、/screenshot 等)、MCP 支援、監控儀表板、AMD64 與 ARM64 映像檔。
  • 雲端專屬功能:網頁搜尋 API(GET /search)、SERP API(GET /serp)、問答 API(GET /answer)、無需自備 LLM 金鑰即可擷取、自動處理 JavaScript 密集頁面與機器人防護、為代理提供 MCP。

使用情境

  • RAG(檢索增強生成)管線。
  • 需要擷取與處理網頁內容的 AI 代理。
  • 分析、研究或監控的資料擷取。
  • 建立自訂搜尋或問答系統。
  • 具備當機復原與自適應策略的大規模爬取。

快速開始

bash pip install -U crawl4ai crawl4ai-setput # 安裝瀏覽器,僅需一次 python import asyncio from crawl4ai import AsyncWebCrawler async def main(): async with AsyncWebCrawler() as crawler: result = await crawler.arun(url='https://news.ycombinator.com') print(result.markdown) asyncio.run(main()) Docker 伺服器: bash export CRAWL4AI_API_TOKEN='$(openssl rand -hex 32)' docker run -d -p 11235:11235 --name crawl4ai --shm-size=1g -e CRAWL4AI_API_TOKEN='$CRAWL4AI_API_TOKEN' unclecode/craw 完整安裝選項請參閱儲存庫 README。

授權與價格

本專案為開源軟體,採用 Apache-2.0 授權。自行託管版本永久免費。Crawl4AI Cloud 提供免費方案(每分鐘 10 次請求、2 個同時連線、初始 2,000 點額度)與付費方案(每分鐘 120 次請求、10 個同時連線,起價 $10 美元)。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/unclecodecrawl4ai.svg)](https://yunodb.com/tools/unclecodecrawl4ai?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/unclecodecrawl4ai?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/unclecodecrawl4ai.svg" alt="Featured on YunoDB" height="20"></a>