grobid

用於從學術文獻中擷取資訊的機器學習軟體

grobid 是什麼?

用於從學術文獻中擷取資訊的機器學習軟體, categories: [Ai], license: Apache-2.0

grobid 概覽

這是什麼

GROBID(Generation Of Bibliographic Data)是一個機器學習函式庫,用於從原始文件(如 PDF)中提取、解析並重新結構化為結構化的 XML/TEI 編碼文件,特別專注於技術與科學出版物。開發始於 2008 年,並於 2011 年以開源形式發布。GROBID 已達到生產就緒狀態,部署單位包括 ResearchGate、Semantic Scholar、HAL Research Archive、scite.ai、Academia.edu、Internet Archive Scholar、INIST-CNRS 以及 CERN(Invenio)。

主要功能

  • 從 PDF 文章中提取並解析標頭資訊,涵蓋標題、摘要、作者、所屬機構、關鍵字等。
  • 從 PDF 文章中提取並解析參考文獻,在獨立測試集(1943 篇 PubMed Central PDF,含 90,125 條參考文獻)上達到約 .87 F1 分數,在類似 bioRxiv 測試集(2000 篇 PDF)上達到約 .90 F1 分數(使用深度學習引用模型)。
  • 引用上下文識別與解析,準確率介於 .76 到 .91 F1 分數之間(取決於評估資料集)。
  • 從 PDF 文章中提取並結構化全文,包括文件整體分割模型以及正文結構化模型(段落、章節標題、參考文獻與腳註標記、圖表、資料可用性聲明等)。
  • 為提取的資訊提供 PDF 座標,可基於邊界框建立增強互動式 PDF。
  • 解析獨立參考文獻(使用深度學習模型,實例層級 F1 分數高於 .90,欄位層級 F1 分數高於 .95)。
  • 解析姓名、所屬機構與地址區塊、日期,並使用 biblio-glutton 服務或 CrossRef REST API 進行參考文獻的整合/解析(DOI/PMID 解析 F1 分數高於 0.95)。
  • 從專利出版物中提取並解析專利與非專利參考文獻。
  • 提取資助者與資助資訊,並可選擇與 CrossRef 資助者註冊表進行比對。
  • 識別文件的版權所有者與相關授權。

使用情境

GROBID 用於處理大量學術 PDF,以提取結構化元資料與全文。適用於建立數位圖書館、研究資訊系統、引用資料庫,以及任何需要從科學出版物中自動提取書目資料、參考文獻與全文內容的應用。

快速開始

請參閱儲存庫的 README 以取得詳細安裝說明,包括 JDK 設定與平台特定需求。GROBID 需要 OpenJDK 21 以從原始碼建置,並可在 Linux(64 位元)或 macOS(Intel 與 ARM)上執行。可選依賴項包括 Python 3.10-3.11 搭配 JEP(用於深度學習模型)以及支援 CUDA 的 NVIDIA GPU。

授權與價格

授權為 Apache-2.0。價格類型為開源。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/grobidorggrobid.svg)](https://yunodb.com/tools/grobidorggrobid?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/grobidorggrobid?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/grobidorggrobid.svg" alt="Featured on YunoDB" height="20"></a>