trafilatura

Python 與命令列工具,用於蒐集網路上的文字與中繼資料:爬蟲、擷取、輸出為 CSV、JSON、HTML、MD、TXT、XML

trafilatura 是什麼?

Python 與命令列工具,用於蒐集網路上的文字與中繼資料:爬蟲、擷取、輸出為 CSV、JSON、HTML、MD、TXT、XML

trafilatura 概覽

這是什麼

Trafilatura 是一個 Python 套件與命令列工具,用於從網路收集文字與中繼資料。它執行網路爬蟲、下載、網頁抓取,以及從原始 HTML 中提取主要文字、中繼資料和留言。此工具設計為模組化,不需要資料庫。它專注於實際內容,同時避免頁首、頁尾和重複樣板造成的雜訊。提取器在精確度與召回率之間取得平衡。Trafilatura 被 HuggingFace、IBM、Microsoft Research、NVIDIA、Allen Institute for AI、Stanford 和 Internet Archive 等組織使用。

主要功能

  • 進階網路爬蟲與文字探索:支援網站地圖(TXT、XML)與資訊源(ATOM、JSON、RSS);智慧爬蟲與 URL 管理(過濾與去重)
  • 平行處理即時 URL 與離線輸入(先前下載的 HTML 檔案與已解析的 HTML 樹)
  • 穩健且可設定的提取:主要文字(自有規則提取器,以 jusText 和 readability-lxml 為備援)、中繼資料(標題、作者、日期、網站名稱、分類與標籤)、格式與結構(段落、標題、列表、引用、程式碼、換行、行內文字格式),以及可選元素(留言、連結、圖片、表格)
  • 可選附加功能:語言偵測、速度最佳化
  • 多種輸出格式:TXT、Markdown、CSV、JSON、HTML、XML 與 XML-TEI

使用情境

Trafilatura 用於研究與生產環境中的網路資料擷取。它適用於建立文字資料庫、從網頁提取內容以進行自然語言處理,以及將原始 HTML 轉換為結構化資料以供分析。此工具在學術領域用於資料擷取,並被各組織用於內容提取任務。

快速開始

請參閱儲存庫的 README 以取得安裝與使用說明。

授權與價格

此套件採用 Apache 2.0 授權。1.8.0 版之前的版本採用 GPLv3+ 授權。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/adbartrafilatura.svg)](https://yunodb.com/tools/adbartrafilatura?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/adbartrafilatura?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/adbartrafilatura.svg" alt="Featured on YunoDB" height="20"></a>