unstructured

輕鬆將文件轉換為結構化資料。Unstructured 是開源 ETL 解決方案,可將複雜文件轉換為乾淨、結構化的格式,供語言模型使用。

unstructured 是什麼?

輕鬆將文件轉換為結構化資料。Unstructured 是開源 ETL 解決方案,可將複雜文件轉換為乾淨、結構化的格式,供語言模型使用。歡迎造訪我們的網站,進一步了解我們的企業級 Platform 產品,適用於生產級工作流程、分割、增強、分塊與嵌入。

unstructured 概覽

這是什麼

unstructured 是一個開放原始碼的 ETL(提取、轉換、載入)工具,用於將複雜文件(如 PDF、HTML、Word 文件和圖片)轉換為適合語言模型使用的乾淨結構化格式。它提供用於攝取和預處理非結構化資料的組件,將其轉換為結構化輸出。

主要功能

  • 支援多種文件類型,包括 PDF、HTML、Word 和圖片
  • 提供模組化的函式和連接器,用於資料攝取和預處理
  • 能將文件分割為結構化元素(例如文字、表格)
  • 支援透過 Docker 以容器化方式使用
  • 可透過 pip 安裝特定文件類型的擴充套件

使用情境

  • 簡化大型語言模型(LLM)的資料處理工作流程
  • 將非結構化文件(如電子郵件、PDF、HTML 頁面)轉換為結構化格式,以便進一步分析
  • 在將資料饋入 LLM 或其他工具之前,從各種來源攝取並預處理資料

快速開始

透過 Docker 使用此函式庫:docker pull downloads.unstructured.io/unstructured-io/unstructured:latest安裝 Python SDK:pip install unstructured若要支援所有文件類型:pip install unstructured[all-docs]本機開發使用 uv:curl -LsSf https://astral.sh/uv/install.sh | sh然後執行:make install

授權與價格

此函式庫採用 Apache-2.0 授權。根據 README 所述:“開放原始碼函式庫目前且將永遠完全免費。” 儲存庫元資料顯示其價格類型為開放原始碼。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/unstructured-iounstructured.svg)](https://yunodb.com/tools/unstructured-iounstructured?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/unstructured-iounstructured?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/unstructured-iounstructured.svg" alt="Featured on YunoDB" height="20"></a>