GLiNER

通用且輕量的命名實體識別模型(從文本中提取任何實體類型)

GLiNER 是什麼?

通用且輕量的命名實體識別模型(從文本中提取任何實體類型)  

GLiNER 概覽

這是什麼

GLiNER 是一個用於訓練和部署小型命名實體辨識(NER)模型的框架,具備零樣本(zero-shot)能力。它支援增量串流 NER、聯合實體與關係抽取,以及多任務詞元分類。模型可微調,並針對 CPU 與消費級硬體進行最佳化,效能可與 ChatGPT 和 UniNER 等大型模型競爭。

主要功能

  • 零樣本 NER:無需標記資料或任務特定訓練即可抽取任何實體類型。
  • 可在 CPU 與邊緣裝置上執行:支援 FP16 與 INT8 量化、torch.compile 以及 ONNX 匯出。
  • 透過雙編碼器架構預先計算標籤嵌入,可擴展至數百萬個標籤。
  • 聯合實體與關係抽取(RelEx 架構),一次通過即可建立知識圖譜。
  • PII 偵測:最先進的多語言模型,涵蓋 100 多種語言的主要實體類型。
  • 數分鐘內微調:在小型資料集上進行少樣本學習,獲得具競爭力的結果。
  • 基於 Ray Serve 的服務層,提供動態批次處理與 HTTP API,適用於生產環境。

使用情境

  • 合規與 PII 遮罩:在文件與資料管線中偵測並遮罩 40 多種個人資料類型。
  • 知識圖譜建構:聯合抽取實體與關係,支援 Graph RAG、語意搜尋與分析。
  • 大規模實體抽取:使用雙編碼器對數百萬份文件標記數百或數千種實體類型。
  • 領域特定 NER:在生物醫學、法律、金融或任何專業語料庫上以少量標記資料進行微調。
  • 多語言資訊抽取:使用單一模型從 100 多種語言中抽取結構化資料。
  • 搜尋與檢索增強:將查詢解析為結構化實體,提升搜尋相關性與 RAG 管線。

快速開始

安裝: bash pip install gliner 或使用 uv(更快): bash uv pip install gliner 如需服務支援: bash uv pip install gliner[serve] 基本用法: python from gliner import GLiNER model = GLiNER.from_pretrained('gliner-community/gliner_small-v2.5') text = '''Cristiano Ronaldo dos Santos Aveiro (born 5 February 1985) is a Portuguese professional footballer who plays as a forward for and captains both Saudi Pro League club Al Nassr and the Portugal national team.''' labels = ['person', 'date', 'organization', 'location'] entities = model.predict_entities(text, labels, threshold=0.5) for entity in entities: print(entity['text'], '=>', entity['label'])

授權與價格

採用 Apache-2.0 授權。開放原始碼。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/urchadegliner.svg)](https://yunodb.com/tools/urchadegliner?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/urchadegliner?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/urchadegliner.svg" alt="Featured on YunoDB" height="20"></a>