llm-scraper

使用LLM將任何網頁轉換為結構化資料

llm-scraper 是什麼?

使用LLM將任何網頁轉換為結構化資料。關鍵字:LLM、網頁結構化、資料擷取。

llm-scraper 概覽

這是什麼

LLM Scraper 是一個 TypeScript 函式庫,能透過大型語言模型 (LLM) 從任何網頁中提取結構化資料。它基於 Playwright 框架,支援使用 Zod 或 JSON Schema 定義結構,並提供完整的 TypeScript 型別安全,以及多種格式化模式來載入頁面內容。

主要功能

  • 支援 GPT、Sonnet、Gemini、Llama、Qwen 等模型系列
  • 使用 Zod 或 JSON Schema 定義結構
  • 完整的 TypeScript 型別安全
  • 基於 Playwright 框架
  • 支援串流物件
  • 可生成程式碼
  • 支援 6 種格式化模式:html、raw_html、markdown、text、image、custom

使用情境

從任何網頁中提取結構化資料,例如抓取新聞網站頭條、收集產品資訊,或取得任何可用結構定義的內容。此函式庫支援單次執行與串流模式,並可透過程式碼生成功能產出可重複使用的 Playwright 腳本。

快速開始

  1. 從 npm 安裝必要依賴:npm i zod playwright llm-scraper2. 初始化 LLM(以 OpenAI 為例):npm i @ai-sdk/openai``````jsimport { openai } from '@ai-sdk/openai'const llm = openai('gpt-4o')3. 建立新的 scraper 實例:jsimport LLMScraper from 'llm-scraper'const scraper = new LLMScraper(llm)

授權與價格

授權:MIT。價格:開源。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/mishushakovllm-scraper.svg)](https://yunodb.com/tools/mishushakovllm-scraper?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/mishushakovllm-scraper?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/mishushakovllm-scraper.svg" alt="Featured on YunoDB" height="20"></a>