SimplyRetrieve
輕量級聊天AI平台,具備自訂知識、開源LLM、提示工程、檢索分析。高度可自訂。專為以檢索為中心(Retrieval-Centric)與
SimplyRetrieve 是什麼?
輕量級聊天AI平台,具備自訂知識、開源LLM、提示工程、檢索分析。高度可自訂。專為以檢索為中心(Retrieval-Centric)與檢索增強生成(Retrieval-Augmented Generation)而設計。
SimplyRetrieve 概覽
這是什麼
SimplyRetrieve 是一個開源工具,提供完全本地化、輕量且易於使用的 GUI 與 API 平台,專注於檢索中心生成(Retrieval-Centric Generation, RCG)。使用者可以用自己的文件與語言模型建立聊天工具,且高度可自訂。此工具設計在單一 Nvidia GPU(如 T4、V100 或 A100)上執行,基於 Hugging Face、Gradio、PyTorch 與 Faiss 建構。預設 LLM 為 Wizard-Vicuna-13B-Uncensored,預設嵌入模型為 multilingual-e5-base。技術報告可在 arXiv 取得,簡短影片則在 YouTube 上。該工具隸屬於日本 Kioxia 公司的記憶體技術研發研究所。
主要功能
- 基於 GUI 與 API 的檢索中心生成平台 - 檢索調校模組,包含提示工程、工具配置與檢索分析 - 私有知識庫建構器 - 完全本地化、私有且輕量地存取各種規模的開源大型語言模型 - 使用 Gradio 佇列功能支援多使用者同時存取 UI - 知識標籤頁,可即時建立與附加知識
使用情境
- 檢驗檢索中心生成在開發更安全、可解釋且負責任的 AI 系統方面的有效性 - 最佳化檢索中心生成中情境解釋與知識記憶分離的效率 - 改善檢索中心生成的提示工程技術 - 實作完全本地與邊緣運算的聊天 AI - 建立針對個人使用者的個人化 AI 助手
快速開始
首先,複製此儲存庫。在基於 GPU 的 Linux 機器上,啟動 Python 虛擬環境並安裝必要套件: pip install -r requirements.txt 可選擇準備自己的知識來源:將文件(pdf、txt、doc 等)放入 chat/data/,然後執行資料準備腳本: cd chat/ CUDA_VISIBLE_DEVICES=0 python prepare.py --input data/ --output knowledge/ --config configs/default_release.json 或者,使用 GUI 中的知識標籤頁即時新增知識。要執行工具,將當前路徑設為 chat/ 並執行: CUDA_VISIBLE_DEVICES=0 python chat.py --config configs/default_release.json 然後在瀏覽器中存取 http://:7860 以使用網頁 GUI。GUI 操作手冊請見 docs/ 目錄,API 存取請見 examples/ 目錄。
授權與價格
此工具採用 MIT 授權條款,為開源且免費。中繼資料中標示授權為 MIT,價格類型為 open_source。
內容整理自該專案公開的 README 與儲存庫資訊。