CyberScraper-2077
一個強大的網頁爬蟲,由LLM驅動 | OpenAI, Gemini & Ollama
CyberScraper-2077 是什麼?
一個強大的網頁爬蟲,由LLM驅動 | OpenAI, Gemini & Ollama
CyberScraper-2077 概覽
這是什麼
CyberScraper-2077 是一個使用 AI 模型(OpenAI、Gemini 和 Ollama)從網站提取資料的網頁爬蟲工具。它採用 MIT 授權開源,需要 Python 3.10 或更高版本,可透過本機或 Docker 執行。專案存放於 GitHub(https://github.com/itsOwen/CyberScraper-2077),提供 Streamlit 圖形介面及命令列操作,並支援 LiteLLM 整合。README 中提及贊助商 Swiftproxy,但非工具本身功能。
主要功能
- 使用 OpenAI、Gemini 和 Ollama 模型進行 AI 驅動的資料提取。
- 提供 Streamlit 使用者介面。
- 支援多種匯出格式:JSON、CSV、HTML、SQL 或 Excel。
- 支援 Tor 網路,可安全爬取 .onion 網站。
- 隱身模式參數,避免被偵測為機器人。
- 支援 Ollama 開源 LLM。
- 非同步操作,提升爬取速度。
- 智慧解析,將爬取內容結構化。
- 使用 LRU 快取和自訂字典減少 API 呼叫。
- 一鍵將 CSV 資料上傳至 Google Sheets。
- 在 URL 結尾加上
-captcha可繞過驗證碼(僅限本機,不適用 Docker)。 - 使用本機瀏覽器實例繞過機器人偵測(僅必要時使用)。
- 瀏覽網頁並從不同頁面爬取資料(測試版)。
使用情境
CyberScraper-2077 適用於需要 AI 理解才能提取結構化資料的網站,例如產品列表、搜尋結果或跨頁內容。它支援分頁爬取,可自訂 URL 模式,也適合爬取 .onion 網站。隱身模式有助於避免被封鎖。多種匯出格式便於資料分析或整合,Google Sheets 上傳功能可直接分享資料。
快速開始
- 複製儲存庫:
bash git clone https://github.com/itsOwen/CyberScraper-2077.git cd CyberScraper-20772. 建立並啟動虛擬環境:bash virtualenv venv source venv/bin/activate3. 安裝必要套件:bash pip install -r requirements.txt4. 安裝 Playwright:bash playwright install5. 設定 API 金鑰:bash export OPENAI_API_KEY='your-api-key-here' export GOOGLE_API_KEY='your-api-key-here'6. 執行 Streamlit 應用程式:bash streamlit run main.py7. 在瀏覽器開啟http://localhost:8501。Docker 安裝方式請參閱儲存庫 README。
授權與價格
授權為 MIT。此工具為開源軟體,README 與中繼資料中未提及任何價格資訊。
內容整理自該專案公開的 README 與儲存庫資訊。