rag-experiment-accelerator
RAG 實驗加速器是一款多功能工具,旨在加速並簡化使用 Azure Cognitive Search 和 RAG 模式進行實驗與評估的流程。
rag-experiment-accelerator 是什麼?
RAG 實驗加速器是一款多功能工具,旨在加速並簡化使用 Azure Cognitive Search 和 RAG 模式進行實驗與評估的流程。
rag-experiment-accelerator 概覽
這是什麼
RAG Experiment Accelerator 是一個多功能工具,旨在加速並簡化使用 Azure AI Search 和 RAG 模式進行實驗與評估的過程。它幫助研究人員、資料科學家和開發者測試搜尋與 OpenAI 的超參數、比較搜尋策略,並產生詳細報告。
主要功能
- 實驗設定:透過指定搜尋引擎參數、搜尋類型、查詢集和評估指標來定義和配置實驗。
- 整合:與 Azure AI Search、Azure Machine Learning、MLFlow 和 Azure OpenAI 無縫整合。
- 豐富的搜尋索引:根據超參數配置建立多個搜尋索引。
- 多種文件載入器:支援透過 Azure Document Intelligence 和基本 LangChain 載入器載入。
- 自訂文件智慧載入器:將表格格式化為鍵值對、排除不相關部分、移除重複模式。
- 查詢生成:產生多樣化且可自訂的查詢集以進行實驗。
- 多種搜尋類型:支援純文字、純向量、交叉向量、多向量、混合搜尋等。
- 子查詢:將複雜的使用者查詢分解為較小的子查詢以產生相關上下文。
- 重新排序:使用 LLM 重新評估查詢回應,並根據相關性排序。
- 指標與評估:支援端到端指標(距離、餘弦、語義相似度)和基於元件的指標(上下文召回、答案相關性)以及檢索指標(MAP@k)。
- 報告生成:自動化報告生成並附帶視覺化圖表。
- 多語言:支援個別語言的語言分析器和專用分析器。
- 抽樣:建立小型但具代表性的資料樣本以加速實驗。
使用情境
- 測試不同搜尋與 OpenAI 超參數的效能。
- 比較各種搜尋策略的有效性。
- 微調和最佳化參數。
- 找出最佳的超參數組合。
- 從實驗結果產生詳細報告和視覺化圖表。
快速開始
複製儲存庫並設定環境:
git clone https://github.com/microsoft/rag-experiment-accelerator.git
cd rag-experiment-accelerator
conda create -n rag-experiment python=3.11
conda init bash
### 關閉並重新開啟終端機,然後執行:
conda activate rag-experiment
pip install .
az login
az account set --subscription=""
az account show
如需開發容器設定,請參閱儲存庫的 README。
授權與價格
此專案為開源。授權條款在元資料中未明確說明(NOASSERTION)。
內容整理自該專案公開的 README 與儲存庫資訊。