GPTCache
LLM 的語意快取。與 LangChain 和 llama_index 完全整合。
GPTCache 是什麼?
LLM 的語意快取。與 LangChain 和 llama_index 完全整合。
GPTCache 概覽
這是什麼
GPTCache 是一個用於建立大型語言模型查詢語意快取的函式庫。它的目標是透過快取 LLM 的回應來降低 API 成本並提升回應速度。該專案已完全整合 LangChain 與 llama_index,並提供 Docker 映像檔,讓任何程式語言都能使用。
主要功能
- 為 LLM 查詢提供語意快取,號稱可降低 API 成本 10 倍、提升速度 100 倍(依 README 所述)。
- 完全整合 LangChain 與 llama_index。
- 支援精確比對與相似搜尋快取。
- 提供溫度參數以控制是否跳過快取。
- 使用嵌入函式、資料管理員與相似度評估來彈性設定快取。
- 提供 Docker 映像檔,不受語言限制。
使用情境
- 降低高流量應用程式的 LLM API 成本。
- 針對重複或相似查詢提供快取答案,改善回應時間。
- 建立依賴 ChatGPT 或其他 LLM 的可擴展應用程式。
快速開始
透過 pip 安裝:
pip install gptcache
開發版安裝:
git clone -b dev https://github.com/zilliztech/GPTCache.git
cd GPTCache
pip install -r requirements.txt
python setup.py install
執行範例前需設定 OPENAI_API_KEY 環境變數。詳細用法請參閱儲存庫 README。
授權與價格
授權:MIT。價格:開放原始碼(免費)。
內容整理自該專案公開的 README 與儲存庫資訊。