spark-nlp
最先進的自然語言處理
spark-nlp 是什麼?
最先進的自然語言處理, 最先進的自然語言處理, 最先進的自然語言處理, 最先進的自然語言處理, 最先進的自然語言處理, 最先進的自然語言處理, 最先進的自然語言處理, 最先進的自然語言處理, 最先進的自然語言處理, 最先進的自然語言處理, 最先進的自然語言處理, 最先進的自然語言處理, 最先進的自然語言處理, 最先進的自然語言處理, 最先進的自然語言處理, 最先進的自然語言處理, 最先進的自然語言處理, 最先進的自然語言處理, 最先進的自然語言處理, 最先進的自然語言處理, 最先進的自然語言處理, 最先進的自然語言處理, 最先進的自然語言處理, 最先進的自然語言處理, 最先進的自然語言處理, 最先進的自然語言處理, 最先進的自然語言處理, 最先進的自然語言處理, 最先進的自然語言處理, 最先進的自然語言處理, 最先進的自然語言處理, 最先進的自然語言處理, 最先進的自然語言處理, 最先進的自然語言處理, 最先進的自然語言處理, 最先進的自然語言處理, 最先進的自然語言處理, 最先進的自然語言處理, 最先進的自然語言處理, 最先進的自然語言處理, 最先進的自然語言處理, 最先進的自然語言處理, 最先進的自然語言處理, 最先進的自然語言處理, 最先進的自然語言處理, 最先進的自然語言處理, 最先進的自然語言處理, 最先進的自然語言處理, 最先進的自然語言處理, 最先進的自然語言處理, 最先進的自然語言處理, 最先進的自然語言處理, 最先進的自然語言處理, 最先進的自然語言處理, 最先進的自然語言處理, 最先進的自然語言處理, 最先進的自然語言處理, 最先進的自然語言處理, 最先進的自然語言處理, 最先進的自然語言處理, 最先進的自然語言處理, 最先進的自然語言處理, 最先進的自然語言處理, 最先進的自然語言處理, 最先進的自然語言處理, 最先進的自然語言處理, 最先進的自然語言
spark-nlp 概覽
這是什麼
Spark NLP 是一個基於 Apache Spark 建構的自然語言處理函式庫,提供可於分散式環境中擴展的機器學習管線 NLP 標註。該函式庫包含超過 100,000 個預訓練管線與模型,涵蓋 200 多種語言。支援的任務包括分詞、詞分割、詞性標註、詞與句子嵌入、命名實體辨識、依存句法分析、拼寫檢查、文字分類、情感分析、詞元分類、機器翻譯(超過 180 種語言)、摘要、問答、表格問答、文字生成、影像分類、影像轉文字(標題生成)、自動語音辨識、零樣本學習等。Spark NLP 是唯一在生產環境中提供 BERT、CamemBERT、ALBERT、ELECTRA、XLNet、DistilBERT、RoBERTa、DeBERTa、XLM-RoBERTa、Longformer、ELMO、Universal Sentence Encoder、Llama-2、M2M100、BART、Instructor、E5、Google T5、MarianMT、OpenAI GPT2、Vision Transformers (ViT)、OpenAI Whisper、Llama、Mistral、Phi、Qwen2 等最新 Transformer 模型的開源 NLP 函式庫,並原生擴展 Apache Spark 至 Python、R 及 JVM 生態系統(Java、Scala、Kotlin)。
主要功能
- 文字預處理、解析與分析、情感與分類、嵌入、分類與問答、機器翻譯與生成、影像與語音任務。
- 支援 ONNX、OpenVINO、TensorFlow 及 Llama.cpp (GGUF) 模型匯入。
- 超過 36,000 個預訓練模型,涵蓋 200 多種語言。
- 多語言支援。
- 支援 Apache Spark 3.x(Scala 2.12)及經驗證的 Apache Spark 4 版本(Scala 2.13)。
使用情境
- 文字分類與情感分析。
- 命名實體辨識與依存句法分析。
- 機器翻譯與文字生成。
- 問答與摘要。
- 影像分類與標題生成。
- 自動語音辨識。
- 零樣本學習。
快速開始
使用 pip 安裝 Spark NLP 與 PySpark: sh $ conda create -n sparknlp python=3.9 -y $ conda activate sparknlp # Apache Spark 3.x (Scala 2.12) -> spark-nlp_2.12 $ pip install spark-nlp==7.0.1 pyspark==3.5.1 # Apache Spark 4.0.0 (Scala 2.13) -> spark-nlp-spark400_2.13 $ pip install spark-nlp==7.0.1 pyspark==4.0.0 # Apache Spark 4.0.1 及之後版本 (Scala 2.13) -> spark-nlp_2.13 $ pip install spark-nlp==7.0.1 pyspark==4.0.1 然後在 Python 中: python from sparknlp.base import * from sparknlp.annotator import * from sparknlp.pretrained import PretrainedPipeline import sparknlp spark = sparknlp.start() pipeline = PretrainedPipeline('explain_document_dl', lang='en') text = 'The Mona Lisa is a 16th century oil painting created by Leonardo. It is held at the Louvre in Paris.' result = pipeline.annotate(text) print(result['entities']) 更多範例請參閱儲存庫 README。
授權與價格
授權為 Apache-2.0。此專案為開源,未提及價格資訊。
內容整理自該專案公開的 README 與儲存庫資訊。