Scrapling
🕷️ 最棒的網頁爬蟲框架,從單一請求到全面爬取都能搞定!別害羞,快加入這裡:https://discord.gg/EMgGbDceNQ
Scrapling 是什麼?
🕷️ 最棒的網頁爬蟲框架,從單一請求到全面爬取都能搞定!別害羞,快加入這裡:https://discord.gg/EMgGbDceNQ,並追蹤這裡獲取每日技巧與訣竅:https://x.com/Scrapling_dev
Scrapling 概覽
這是什麼
Scrapling 是一個適應性的網頁爬取框架,專為 Python 設計。它能處理從單一請求到完整爬蟲的各種任務。其解析器能在網站結構變更時自動重新定位元素,而其擷取器能繞過 Cloudflare Turnstile 等反機器人系統。框架內含蜘蛛系統,支援並行、多會話的爬蟲,具備暫停/繼續、自動代理輪換和自適應爬取速度功能。
主要功能
- 蜘蛛 (Spiders):一個完整的爬蟲框架,提供類似 Scrapy 的 API、並行爬取、多會話支援、暫停/繼續、串流模式、封鎖請求偵測、自動節流 (AutoThrottle)、robots.txt 遵循、開發模式、現成的蜘蛛模板 (CrawlSpider、SitemapSpider、XMLFeedSpider、CSVFeedSpider、ShopifySpider)、連結提取,以及內建匯出功能 (JSON/JSONL/CSV/XML)。
- 擷取器 (Fetchers):多種擷取器類別,包括 Fetcher (HTTP 請求)、DynamicFetcher (透過 Playwright 進行瀏覽器自動化) 和 StealthyFetcher (繞過反機器人保護)。所有擷取器都支援會話管理、代理輪換、域名/廣告封鎖、DNS 洩漏防護、透過 CDP 連接遠端瀏覽器、背景 API 擷取,以及非同步支援。
- 解析器 (Parser):一個適應性解析器,能在網站結構變更時自動重新定位元素,使用
css()等方法,並支援auto_save和adaptive等參數。
使用情境
Scrapling 可用於任何規模的網頁爬取專案。它適合從靜態和動態網站提取資料、繞過反機器人保護、以並行請求爬取整個域名,以及管理代理輪換。該框架可用於監控網站變更、資料聚合、價格監控,以及從各種平台提取內容。
快速開始
使用 pip 安裝 Scrapling:bashpip install scrapling使用 StealthyFetcher 的快速範例:pythonfrom scrapling.fetchers import StealthyFetcherStealthyFetcher.adaptive = Truep = StealthyFetcher.fetch('https://example.com', headless=True, network_idle=True)products = p.css('.product', auto_save=True)products = p.css('.product', adaptive=True)完整的爬蟲範例請參閱 repository 中的 README。
授權與價格
Scrapling 是開源軟體,採用 BSD-3-Clause 授權條款。
內容整理自該專案公開的 README 與儲存庫資訊。