llm-scraper
使用LLM將任何網頁轉換為結構化資料
llm-scraper 是什麼?
使用LLM將任何網頁轉換為結構化資料。關鍵字:LLM、網頁結構化、資料擷取。
llm-scraper 概覽
這是什麼
LLM Scraper 是一個 TypeScript 函式庫,能透過大型語言模型 (LLM) 從任何網頁中提取結構化資料。它基於 Playwright 框架,支援使用 Zod 或 JSON Schema 定義結構,並提供完整的 TypeScript 型別安全,以及多種格式化模式來載入頁面內容。
主要功能
- 支援 GPT、Sonnet、Gemini、Llama、Qwen 等模型系列
- 使用 Zod 或 JSON Schema 定義結構
- 完整的 TypeScript 型別安全
- 基於 Playwright 框架
- 支援串流物件
- 可生成程式碼
- 支援 6 種格式化模式:html、raw_html、markdown、text、image、custom
使用情境
從任何網頁中提取結構化資料,例如抓取新聞網站頭條、收集產品資訊,或取得任何可用結構定義的內容。此函式庫支援單次執行與串流模式,並可透過程式碼生成功能產出可重複使用的 Playwright 腳本。
快速開始
- 從 npm 安裝必要依賴:
npm i zod playwright llm-scraper2. 初始化 LLM(以 OpenAI 為例):npm i @ai-sdk/openai``````jsimport { openai } from '@ai-sdk/openai'const llm = openai('gpt-4o')3. 建立新的 scraper 實例:jsimport LLMScraper from 'llm-scraper'const scraper = new LLMScraper(llm)
授權與價格
授權:MIT。價格:開源。
內容整理自該專案公開的 README 與儲存庫資訊。