BERTopic
利用 BERT 和 c-TF-IDF 建立易於解讀的主題。
BERTopic 是什麼?
利用 BERT 和 c-TF-IDF 建立易於解讀的主題。
BERTopic 概覽
這是什麼
BERTopic 是一種主題建模技術,利用 transformers 和 c-TF-IDF 建立密集的聚類,同時保留重要詞彙,產生易於解讀的主題。它支援多種主題建模技術,包括引導式、監督式、半監督式、手動、多主題分佈、層級式、類別式、動態、線上/增量、多模態、多面向、文字生成/LLM、零樣本、合併模型和種子詞。
主要功能
- 支援多種主題建模技術:引導式、監督式、半監督式、手動、層級式、動態、線上/增量、多模態、多面向、文字生成/LLM、零樣本、合併模型和種子詞。
- 模組化設計,可替換或移除嵌入模型、降維、聚類、分詞、詞彙加權和主題表示等元件。
- 提供多種視覺化選項,例如類似 LDAvis 的 visualize_topics() 功能。
- 提供可微調的主題表示,包括 KeyBERTInspired 以及與 OpenAI 模型(如 GPT)的整合,用於生成標籤、摘要、片語和關鍵詞。
- 提供存取單一主題、所有主題、主題頻率、主題資訊、文件資訊、代表性文件,以及更新或合併主題的方法。
- 支援多語言建模,可使用
BERTopic(language='multilingual')選項處理 50 種以上的語言。
使用情境
BERTopic 可用於從文字資料集中提取可解讀的主題,例如新聞文章、學術摘要、社群媒體貼文或任何文件集合。它適用於探索性資料分析、內容分類、趨勢偵測,以及建立基於主題的推薦系統。模組化設計允許針對特定領域進行自訂,而對動態和線上主題建模的支援使其適用於串流資料或不斷演變的語料庫。
快速開始
可使用 uv 或 pip 進行安裝:bashuv add bertopic或bashpip install bertopic如需其他嵌入後端:bashpip install bertopic[flair,gensim,spacy,use]快速入門範例請參閱儲存庫的 README,其中包含使用 20 newsgroups 資料集的程式碼。
授權與價格
此專案採用 MIT 授權條款。它是開放原始碼且免費使用。
內容整理自該專案公開的 README 與儲存庫資訊。