CyberScraper-2077

一個強大的網頁爬蟲,由LLM驅動 | OpenAI, Gemini & Ollama

CyberScraper-2077 是什麼?

一個強大的網頁爬蟲,由LLM驅動 | OpenAI, Gemini & Ollama

CyberScraper-2077 概覽

這是什麼

CyberScraper-2077 是一個使用 AI 模型(OpenAI、Gemini 和 Ollama)從網站提取資料的網頁爬蟲工具。它採用 MIT 授權開源,需要 Python 3.10 或更高版本,可透過本機或 Docker 執行。專案存放於 GitHub(https://github.com/itsOwen/CyberScraper-2077),提供 Streamlit 圖形介面及命令列操作,並支援 LiteLLM 整合。README 中提及贊助商 Swiftproxy,但非工具本身功能。

主要功能

  • 使用 OpenAI、Gemini 和 Ollama 模型進行 AI 驅動的資料提取。
  • 提供 Streamlit 使用者介面。
  • 支援多種匯出格式:JSON、CSV、HTML、SQL 或 Excel。
  • 支援 Tor 網路,可安全爬取 .onion 網站。
  • 隱身模式參數,避免被偵測為機器人。
  • 支援 Ollama 開源 LLM。
  • 非同步操作,提升爬取速度。
  • 智慧解析,將爬取內容結構化。
  • 使用 LRU 快取和自訂字典減少 API 呼叫。
  • 一鍵將 CSV 資料上傳至 Google Sheets。
  • 在 URL 結尾加上 -captcha 可繞過驗證碼(僅限本機,不適用 Docker)。
  • 使用本機瀏覽器實例繞過機器人偵測(僅必要時使用)。
  • 瀏覽網頁並從不同頁面爬取資料(測試版)。

使用情境

CyberScraper-2077 適用於需要 AI 理解才能提取結構化資料的網站,例如產品列表、搜尋結果或跨頁內容。它支援分頁爬取,可自訂 URL 模式,也適合爬取 .onion 網站。隱身模式有助於避免被封鎖。多種匯出格式便於資料分析或整合,Google Sheets 上傳功能可直接分享資料。

快速開始

  1. 複製儲存庫: bash git clone https://github.com/itsOwen/CyberScraper-2077.git cd CyberScraper-2077 2. 建立並啟動虛擬環境: bash virtualenv venv source venv/bin/activate 3. 安裝必要套件: bash pip install -r requirements.txt 4. 安裝 Playwright: bash playwright install 5. 設定 API 金鑰: bash export OPENAI_API_KEY='your-api-key-here' export GOOGLE_API_KEY='your-api-key-here' 6. 執行 Streamlit 應用程式: bash streamlit run main.py 7. 在瀏覽器開啟 http://localhost:8501。Docker 安裝方式請參閱儲存庫 README。

授權與價格

授權為 MIT。此工具為開源軟體,README 與中繼資料中未提及任何價格資訊。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/itsowencyberscraper-2077.svg)](https://yunodb.com/tools/itsowencyberscraper-2077?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/itsowencyberscraper-2077?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/itsowencyberscraper-2077.svg" alt="Featured on YunoDB" height="20"></a>