grobid
用於從學術文獻中擷取資訊的機器學習軟體
grobid 是什麼?
用於從學術文獻中擷取資訊的機器學習軟體, categories: [Ai], license: Apache-2.0
grobid 概覽
這是什麼
GROBID(Generation Of Bibliographic Data)是一個機器學習函式庫,用於從原始文件(如 PDF)中提取、解析並重新結構化為結構化的 XML/TEI 編碼文件,特別專注於技術與科學出版物。開發始於 2008 年,並於 2011 年以開源形式發布。GROBID 已達到生產就緒狀態,部署單位包括 ResearchGate、Semantic Scholar、HAL Research Archive、scite.ai、Academia.edu、Internet Archive Scholar、INIST-CNRS 以及 CERN(Invenio)。
主要功能
- 從 PDF 文章中提取並解析標頭資訊,涵蓋標題、摘要、作者、所屬機構、關鍵字等。
- 從 PDF 文章中提取並解析參考文獻,在獨立測試集(1943 篇 PubMed Central PDF,含 90,125 條參考文獻)上達到約 .87 F1 分數,在類似 bioRxiv 測試集(2000 篇 PDF)上達到約 .90 F1 分數(使用深度學習引用模型)。
- 引用上下文識別與解析,準確率介於 .76 到 .91 F1 分數之間(取決於評估資料集)。
- 從 PDF 文章中提取並結構化全文,包括文件整體分割模型以及正文結構化模型(段落、章節標題、參考文獻與腳註標記、圖表、資料可用性聲明等)。
- 為提取的資訊提供 PDF 座標,可基於邊界框建立增強互動式 PDF。
- 解析獨立參考文獻(使用深度學習模型,實例層級 F1 分數高於 .90,欄位層級 F1 分數高於 .95)。
- 解析姓名、所屬機構與地址區塊、日期,並使用 biblio-glutton 服務或 CrossRef REST API 進行參考文獻的整合/解析(DOI/PMID 解析 F1 分數高於 0.95)。
- 從專利出版物中提取並解析專利與非專利參考文獻。
- 提取資助者與資助資訊,並可選擇與 CrossRef 資助者註冊表進行比對。
- 識別文件的版權所有者與相關授權。
使用情境
GROBID 用於處理大量學術 PDF,以提取結構化元資料與全文。適用於建立數位圖書館、研究資訊系統、引用資料庫,以及任何需要從科學出版物中自動提取書目資料、參考文獻與全文內容的應用。
快速開始
請參閱儲存庫的 README 以取得詳細安裝說明,包括 JDK 設定與平台特定需求。GROBID 需要 OpenJDK 21 以從原始碼建置,並可在 Linux(64 位元)或 macOS(Intel 與 ARM)上執行。可選依賴項包括 Python 3.10-3.11 搭配 JEP(用於深度學習模型)以及支援 CUDA 的 NVIDIA GPU。
授權與價格
授權為 Apache-2.0。價格類型為開源。
內容整理自該專案公開的 README 與儲存庫資訊。