pagesift

以 Rust 實作的本地優先網頁與文件擷取引擎 — HTTP/瀏覽器擷取、版面感知的 PDF/Office/OCR 解析、持久同步及可驗證資料圖譜。

pagesift 是什麼?

以 Rust 實作的本地優先網頁與文件擷取引擎 — HTTP/瀏覽器擷取、版面感知的 PDF/Office/OCR 解析、持久同步及可驗證資料圖譜。

pagesift 概覽

這是什麼

pagesift 是一個 Rust 寫的網頁爬蟲與抓取工具,能將網址、PDF 與 Office 檔案轉換成乾淨的 Markdown 或 JSON。它可作為 CLI、HTTP API(相容 Firecrawl v1/v2 與 Jina Reader)、MCP 伺服器,或透過 Python 與 Node.js SDK 使用。為自託管的單一二進位檔。

主要功能

  • 輸入:網址(可選 JavaScript 渲染)、HTML、PDF、Word (.docx)、Excel (.xlsx)、PowerPoint (.pptx)、EPUB、CSV
  • 輸出:Markdown、HTML、原始 HTML、連結、圖片、中繼資料(標題、發布日期)、JSON;結果不完整時提供警告
  • 介面:CLI、Firecrawl v1/v2 HTTP API、Jina Reader /r/ 端點、MCP(stdio 或 HTTP)、Python、Node.js/TypeScript、Rust crate
  • 爬蟲:預設遵守 robots.txt 與每主機速率限制、站點地圖、依查詢聚焦爬蟲、記憶體受限(基準測試中每個 worker 峰值 14–380 MB)
  • 平台:Linux x86_64/aarch64(glibc ≥ 2.28 與 musl)、macOS x86_64/arm64、Windows x86_64;Docker 映像 ghcr.io/yolow92/pagesift
  • 不適用於掃描 PDF 或圖片的 OCR;僅讀取文字層

使用情境

  • 將網頁與文件餵給 LLM、RAG 索引或 AI 代理,並保留標題、列表、表格與連結的 Markdown
  • 在自己的機器上自託管 Firecrawl 或 Jina Reader 風格的服務,無需按頁付費
  • 混合輸入:在單一呼叫中處理 HTML、PDF、Office 檔案與電子書
  • 在小型機器與容器上執行,記憶體受限並根據 cgroup 限制調整大小

快速開始

bashcargo install pagesift --lockedpagesift scrape https://example.com或透過 Docker:bashdocker run -p 3002:3002 ghcr.io/yolow92/pagesift:0.81.5curl localhost:3002/r/https://example.com

授權與價格

授權:AGPL-3.0,或商業授權。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/yolow92pagesift.svg)](https://yunodb.com/tools/yolow92pagesift?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/yolow92pagesift?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/yolow92pagesift.svg" alt="Featured on YunoDB" height="20"></a>