pagesift
以 Rust 實作的本地優先網頁與文件擷取引擎 — HTTP/瀏覽器擷取、版面感知的 PDF/Office/OCR 解析、持久同步及可驗證資料圖譜。
pagesift 是什麼?
以 Rust 實作的本地優先網頁與文件擷取引擎 — HTTP/瀏覽器擷取、版面感知的 PDF/Office/OCR 解析、持久同步及可驗證資料圖譜。
pagesift 概覽
這是什麼
pagesift 是一個 Rust 寫的網頁爬蟲與抓取工具,能將網址、PDF 與 Office 檔案轉換成乾淨的 Markdown 或 JSON。它可作為 CLI、HTTP API(相容 Firecrawl v1/v2 與 Jina Reader)、MCP 伺服器,或透過 Python 與 Node.js SDK 使用。為自託管的單一二進位檔。
主要功能
- 輸入:網址(可選 JavaScript 渲染)、HTML、PDF、Word (.docx)、Excel (.xlsx)、PowerPoint (.pptx)、EPUB、CSV
- 輸出:Markdown、HTML、原始 HTML、連結、圖片、中繼資料(標題、發布日期)、JSON;結果不完整時提供警告
- 介面:CLI、Firecrawl v1/v2 HTTP API、Jina Reader
/r/端點、MCP(stdio 或 HTTP)、Python、Node.js/TypeScript、Rust crate - 爬蟲:預設遵守 robots.txt 與每主機速率限制、站點地圖、依查詢聚焦爬蟲、記憶體受限(基準測試中每個 worker 峰值 14–380 MB)
- 平台:Linux x86_64/aarch64(glibc ≥ 2.28 與 musl)、macOS x86_64/arm64、Windows x86_64;Docker 映像
ghcr.io/yolow92/pagesift - 不適用於掃描 PDF 或圖片的 OCR;僅讀取文字層
使用情境
- 將網頁與文件餵給 LLM、RAG 索引或 AI 代理,並保留標題、列表、表格與連結的 Markdown
- 在自己的機器上自託管 Firecrawl 或 Jina Reader 風格的服務,無需按頁付費
- 混合輸入:在單一呼叫中處理 HTML、PDF、Office 檔案與電子書
- 在小型機器與容器上執行,記憶體受限並根據 cgroup 限制調整大小
快速開始
bashcargo install pagesift --lockedpagesift scrape https://example.com或透過 Docker:bashdocker run -p 3002:3002 ghcr.io/yolow92/pagesift:0.81.5curl localhost:3002/r/https://example.com
授權與價格
授權:AGPL-3.0,或商業授權。
內容整理自該專案公開的 README 與儲存庫資訊。