GPTCache

LLM 的語意快取。與 LangChain 和 llama_index 完全整合。

GPTCache 是什麼?

LLM 的語意快取。與 LangChain 和 llama_index 完全整合。

GPTCache 概覽

這是什麼

GPTCache 是一個用於建立大型語言模型查詢語意快取的函式庫。它的目標是透過快取 LLM 的回應來降低 API 成本並提升回應速度。該專案已完全整合 LangChain 與 llama_index,並提供 Docker 映像檔,讓任何程式語言都能使用。

主要功能

  • 為 LLM 查詢提供語意快取,號稱可降低 API 成本 10 倍、提升速度 100 倍(依 README 所述)。
  • 完全整合 LangChain 與 llama_index。
  • 支援精確比對與相似搜尋快取。
  • 提供溫度參數以控制是否跳過快取。
  • 使用嵌入函式、資料管理員與相似度評估來彈性設定快取。
  • 提供 Docker 映像檔,不受語言限制。

使用情境

  • 降低高流量應用程式的 LLM API 成本。
  • 針對重複或相似查詢提供快取答案,改善回應時間。
  • 建立依賴 ChatGPT 或其他 LLM 的可擴展應用程式。

快速開始

透過 pip 安裝:

pip install gptcache

開發版安裝:

git clone -b dev https://github.com/zilliztech/GPTCache.git
cd GPTCache
pip install -r requirements.txt
python setup.py install

執行範例前需設定 OPENAI_API_KEY 環境變數。詳細用法請參閱儲存庫 README。

授權與價格

授權:MIT。價格:開放原始碼(免費)。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/zilliztechgptcache.svg)](https://yunodb.com/tools/zilliztechgptcache?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/zilliztechgptcache?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/zilliztechgptcache.svg" alt="Featured on YunoDB" height="20"></a>