unstructured
輕鬆將文件轉換為結構化資料。Unstructured 是開源 ETL 解決方案,可將複雜文件轉換為乾淨、結構化的格式,供語言模型使用。
unstructured 是什麼?
輕鬆將文件轉換為結構化資料。Unstructured 是開源 ETL 解決方案,可將複雜文件轉換為乾淨、結構化的格式,供語言模型使用。歡迎造訪我們的網站,進一步了解我們的企業級 Platform 產品,適用於生產級工作流程、分割、增強、分塊與嵌入。
unstructured 概覽
這是什麼
unstructured 是一個開放原始碼的 ETL(提取、轉換、載入)工具,用於將複雜文件(如 PDF、HTML、Word 文件和圖片)轉換為適合語言模型使用的乾淨結構化格式。它提供用於攝取和預處理非結構化資料的組件,將其轉換為結構化輸出。
主要功能
- 支援多種文件類型,包括 PDF、HTML、Word 和圖片
- 提供模組化的函式和連接器,用於資料攝取和預處理
- 能將文件分割為結構化元素(例如文字、表格)
- 支援透過 Docker 以容器化方式使用
- 可透過 pip 安裝特定文件類型的擴充套件
使用情境
- 簡化大型語言模型(LLM)的資料處理工作流程
- 將非結構化文件(如電子郵件、PDF、HTML 頁面)轉換為結構化格式,以便進一步分析
- 在將資料饋入 LLM 或其他工具之前,從各種來源攝取並預處理資料
快速開始
透過 Docker 使用此函式庫:docker pull downloads.unstructured.io/unstructured-io/unstructured:latest安裝 Python SDK:pip install unstructured若要支援所有文件類型:pip install unstructured[all-docs]本機開發使用 uv:curl -LsSf https://astral.sh/uv/install.sh | sh然後執行:make install
授權與價格
此函式庫採用 Apache-2.0 授權。根據 README 所述:“開放原始碼函式庫目前且將永遠完全免費。” 儲存庫元資料顯示其價格類型為開放原始碼。
內容整理自該專案公開的 README 與儲存庫資訊。