trafilatura
Python 與命令列工具,用於蒐集網路上的文字與中繼資料:爬蟲、擷取、輸出為 CSV、JSON、HTML、MD、TXT、XML
trafilatura 是什麼?
Python 與命令列工具,用於蒐集網路上的文字與中繼資料:爬蟲、擷取、輸出為 CSV、JSON、HTML、MD、TXT、XML
trafilatura 概覽
這是什麼
Trafilatura 是一個 Python 套件與命令列工具,用於從網路收集文字與中繼資料。它執行網路爬蟲、下載、網頁抓取,以及從原始 HTML 中提取主要文字、中繼資料和留言。此工具設計為模組化,不需要資料庫。它專注於實際內容,同時避免頁首、頁尾和重複樣板造成的雜訊。提取器在精確度與召回率之間取得平衡。Trafilatura 被 HuggingFace、IBM、Microsoft Research、NVIDIA、Allen Institute for AI、Stanford 和 Internet Archive 等組織使用。
主要功能
- 進階網路爬蟲與文字探索:支援網站地圖(TXT、XML)與資訊源(ATOM、JSON、RSS);智慧爬蟲與 URL 管理(過濾與去重)
- 平行處理即時 URL 與離線輸入(先前下載的 HTML 檔案與已解析的 HTML 樹)
- 穩健且可設定的提取:主要文字(自有規則提取器,以 jusText 和 readability-lxml 為備援)、中繼資料(標題、作者、日期、網站名稱、分類與標籤)、格式與結構(段落、標題、列表、引用、程式碼、換行、行內文字格式),以及可選元素(留言、連結、圖片、表格)
- 可選附加功能:語言偵測、速度最佳化
- 多種輸出格式:TXT、Markdown、CSV、JSON、HTML、XML 與 XML-TEI
使用情境
Trafilatura 用於研究與生產環境中的網路資料擷取。它適用於建立文字資料庫、從網頁提取內容以進行自然語言處理,以及將原始 HTML 轉換為結構化資料以供分析。此工具在學術領域用於資料擷取,並被各組織用於內容提取任務。
快速開始
請參閱儲存庫的 README 以取得安裝與使用說明。
授權與價格
此套件採用 Apache 2.0 授權。1.8.0 版之前的版本採用 GPLv3+ 授權。
內容整理自該專案公開的 README 與儲存庫資訊。