smart-llm-loader
smart-llm-loader 是一個輕量但功能強大的 Python 套件,能將任何文件轉換為 LLM 就緒的區塊。減少預處理的麻煩,
smart-llm-loader 是什麼?
smart-llm-loader 是一個輕量但功能強大的 Python 套件,能將任何文件轉換為 LLM 就緒的區塊。減少預處理的麻煩,將更多時間投入在真正重要的事情上。從 RAG 系統、聊天機器人到文件問答,SmartLLMLoader 處理繁重的工作,讓您專注於打造卓越的 AI 應用。
smart-llm-loader 概覽
這是什麼
smart-llm-loader 是一個 Python 套件,可將任何文件轉換為適合 LLM 使用的區塊。它處理文件處理任務,例如將文件轉換為 Markdown、掃描文件的 OCR,以及具上下文感知的文字分塊。此套件可與 LangChain 和 LlamaIndex 整合,設計用於 RAG 系統、聊天機器人和文件問答應用。
主要功能
- 支援多種 LLM 提供者 - 內建 OCR,適用於掃描文件和圖片 - 彈性的文件類型支援 - 支援不同的分塊策略:上下文感知分塊和基於頁面的分塊 - 支援自訂提示詞和自訂分塊
使用情境
此套件適用於建置 RAG 系統、聊天機器人和文件問答應用。它旨在減少前處理工作,讓開發者專注於應用邏輯。README 提到其分塊方法已與傳統方法進行基準測試,在搭配 Google 的 Gemini Flash 模型時表現更佳。
快速開始
安裝系統依賴(用於 PDF 處理的 Poppler)和套件: bash # Ubuntu/Debian sudo apt-get install poppler-utils # macOS brew install poppler # Windows:下載 Poppler,解壓縮,將 bin 目錄加入 PATH # 安裝套件 pip install smart-llm-loader # 或使用 Poetry poetry add smart-llm-loader 快速開始範例: python from smart_llm_loader import SmartLLMLoader # 設定 API 金鑰和模型(例如 Gemini、OpenAI、Anthropic) loader = SmartLLMLoader(file_path='your_document.pdf', chunk_strategy='contextual', model='gemini/gemini-1.5-flash') documents = loader.load_and_split() 完整參數詳情請參閱儲存庫 README。
授權與價格
此套件為開源,採用 MIT 授權。價格未說明;列為開源。
內容整理自該專案公開的 README 與儲存庫資訊。