GLiNER
通用且輕量的命名實體識別模型(從文本中提取任何實體類型)
GLiNER 是什麼?
通用且輕量的命名實體識別模型(從文本中提取任何實體類型)
GLiNER 概覽
這是什麼
GLiNER 是一個用於訓練和部署小型命名實體辨識(NER)模型的框架,具備零樣本(zero-shot)能力。它支援增量串流 NER、聯合實體與關係抽取,以及多任務詞元分類。模型可微調,並針對 CPU 與消費級硬體進行最佳化,效能可與 ChatGPT 和 UniNER 等大型模型競爭。
主要功能
- 零樣本 NER:無需標記資料或任務特定訓練即可抽取任何實體類型。
- 可在 CPU 與邊緣裝置上執行:支援 FP16 與 INT8 量化、torch.compile 以及 ONNX 匯出。
- 透過雙編碼器架構預先計算標籤嵌入,可擴展至數百萬個標籤。
- 聯合實體與關係抽取(RelEx 架構),一次通過即可建立知識圖譜。
- PII 偵測:最先進的多語言模型,涵蓋 100 多種語言的主要實體類型。
- 數分鐘內微調:在小型資料集上進行少樣本學習,獲得具競爭力的結果。
- 基於 Ray Serve 的服務層,提供動態批次處理與 HTTP API,適用於生產環境。
使用情境
- 合規與 PII 遮罩:在文件與資料管線中偵測並遮罩 40 多種個人資料類型。
- 知識圖譜建構:聯合抽取實體與關係,支援 Graph RAG、語意搜尋與分析。
- 大規模實體抽取:使用雙編碼器對數百萬份文件標記數百或數千種實體類型。
- 領域特定 NER:在生物醫學、法律、金融或任何專業語料庫上以少量標記資料進行微調。
- 多語言資訊抽取:使用單一模型從 100 多種語言中抽取結構化資料。
- 搜尋與檢索增強:將查詢解析為結構化實體,提升搜尋相關性與 RAG 管線。
快速開始
安裝: bash pip install gliner 或使用 uv(更快): bash uv pip install gliner 如需服務支援: bash uv pip install gliner[serve] 基本用法: python from gliner import GLiNER model = GLiNER.from_pretrained('gliner-community/gliner_small-v2.5') text = '''Cristiano Ronaldo dos Santos Aveiro (born 5 February 1985) is a Portuguese professional footballer who plays as a forward for and captains both Saudi Pro League club Al Nassr and the Portugal national team.''' labels = ['person', 'date', 'organization', 'location'] entities = model.predict_entities(text, labels, threshold=0.5) for entity in entities: print(entity['text'], '=>', entity['label'])
授權與價格
採用 Apache-2.0 授權。開放原始碼。
內容整理自該專案公開的 README 與儲存庫資訊。