docmind-ai-llm
DocMind AI 是一款強大的開源 Streamlit 應用程式,利用 LlamaIndex、LangGraph 以及透過 Ollama、LMStudio、llama.cpp 或 vLLM 運行的本地大型語言模型 (LLM),進行進階文件分析。
docmind-ai-llm 是什麼?
DocMind AI 是一款強大的開源 Streamlit 應用程式,利用 LlamaIndex、LangGraph 以及透過 Ollama、LMStudio、llama.cpp 或 vLLM 運行的本地大型語言模型 (LLM),進行進階文件分析。可安全且私密地離線分析、摘要並從多種檔案格式中提取見解。
docmind-ai-llm 概覽
這是什麼
DocMind AI 是一個開源的 Streamlit 應用程式,利用 LlamaIndex、LangGraph 以及透過 Ollama、LMStudio、llama.cpp 或 vLLM 運行的本地大型語言模型(LLM),進行進階文件分析。使用者可以安全且私密地離線分析、摘要及擷取多種檔案格式的見解。
主要功能
- 注重隱私、本地優先:預設封鎖遠端 LLM 端點,需明確啟用才能使用。
- 多格式解析:支援 PDF、常見辦公室格式、HTML 以及明確的文字格式(.txt、.md、.markdown、.rst)。
- 混合檢索與路由:RouterQueryEngine 提供 semantic_search、hybrid_search、keyword_search、multimodal_search 及 knowledge_graph 工具。
- 多代理協調:LangGraph 監督者協調四個代理(規劃、檢索、綜合、驗證)。
- 離線優先設計:一旦模型就緒即可在本地執行;遠端端點必須明確啟用。
- GPU 加速:可選的 NVIDIA 設定檔可加速 PyTorch 為基礎的稠密/影像嵌入與重新排序。
使用情境
- 在本地分析與摘要文件,無需將資料傳送至外部伺服器。
- 從 PDF、辦公室文件及 HTML 檔案中擷取見解。
- 在資料駐留要求嚴格的環境中進行安全、私密的文件分析。
- 在網路連線有限或無法連線時離線使用。
快速開始
pip install docmind-ai-llm streamlit run src/Home.py 如需 Docker 部署方式,請參閱儲存庫的 README。
授權與價格
本專案採用 MIT 授權條款,為開源軟體。
內容整理自該專案公開的 README 與儲存庫資訊。