Scrapling

🕷️ 最棒的網頁爬蟲框架,從單一請求到全面爬取都能搞定!別害羞,快加入這裡:https://discord.gg/EMgGbDceNQ

Scrapling 是什麼?

🕷️ 最棒的網頁爬蟲框架,從單一請求到全面爬取都能搞定!別害羞,快加入這裡:https://discord.gg/EMgGbDceNQ,並追蹤這裡獲取每日技巧與訣竅:https://x.com/Scrapling_dev

Scrapling 概覽

這是什麼

Scrapling 是一個適應性的網頁爬取框架,專為 Python 設計。它能處理從單一請求到完整爬蟲的各種任務。其解析器能在網站結構變更時自動重新定位元素,而其擷取器能繞過 Cloudflare Turnstile 等反機器人系統。框架內含蜘蛛系統,支援並行、多會話的爬蟲,具備暫停/繼續、自動代理輪換和自適應爬取速度功能。

主要功能

  • 蜘蛛 (Spiders):一個完整的爬蟲框架,提供類似 Scrapy 的 API、並行爬取、多會話支援、暫停/繼續、串流模式、封鎖請求偵測、自動節流 (AutoThrottle)、robots.txt 遵循、開發模式、現成的蜘蛛模板 (CrawlSpider、SitemapSpider、XMLFeedSpider、CSVFeedSpider、ShopifySpider)、連結提取,以及內建匯出功能 (JSON/JSONL/CSV/XML)。
  • 擷取器 (Fetchers):多種擷取器類別,包括 Fetcher (HTTP 請求)、DynamicFetcher (透過 Playwright 進行瀏覽器自動化) 和 StealthyFetcher (繞過反機器人保護)。所有擷取器都支援會話管理、代理輪換、域名/廣告封鎖、DNS 洩漏防護、透過 CDP 連接遠端瀏覽器、背景 API 擷取,以及非同步支援。
  • 解析器 (Parser):一個適應性解析器,能在網站結構變更時自動重新定位元素,使用 css() 等方法,並支援 auto_save 和 adaptive 等參數。

使用情境

Scrapling 可用於任何規模的網頁爬取專案。它適合從靜態和動態網站提取資料、繞過反機器人保護、以並行請求爬取整個域名,以及管理代理輪換。該框架可用於監控網站變更、資料聚合、價格監控,以及從各種平台提取內容。

快速開始

使用 pip 安裝 Scrapling:bashpip install scrapling使用 StealthyFetcher 的快速範例:pythonfrom scrapling.fetchers import StealthyFetcherStealthyFetcher.adaptive = Truep = StealthyFetcher.fetch('https://example.com', headless=True, network_idle=True)products = p.css('.product', auto_save=True)products = p.css('.product', adaptive=True)完整的爬蟲範例請參閱 repository 中的 README。

授權與價格

Scrapling 是開源軟體,採用 BSD-3-Clause 授權條款。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/d4vinciscrapling.svg)](https://yunodb.com/tools/d4vinciscrapling?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/d4vinciscrapling?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/d4vinciscrapling.svg" alt="Featured on YunoDB" height="20"></a>