prompt-cache

透過智慧語義快取,將 LLM 成本降低最高 80%,並實現亞毫秒級回應。一個採用 Go 語言編寫、可無縫整合、與供應商無關的 LLM 代理,搭配亞毫秒級

prompt-cache 是什麼?

透過智慧語義快取,將 LLM 成本降低最高 80%,並實現亞毫秒級回應。一個採用 Go 語言編寫、可無縫整合、與供應商無關的 LLM 代理,搭配亞毫秒級回應。

prompt-cache 概覽

這是什麼

PromptCache 是一個輕量級、自託管的語意快取工具,專為生成式 AI 工作負載設計。它位於應用程式與 LLM 提供者之間,能偵測相似的提示詞,並直接回傳先前快取的回應,避免再次呼叫模型。此工具以 Go 語言撰寫,可作為無縫接軌、不限提供者的代理層。

主要功能

  • 採用雙門檻語意比對策略:高相似度直接命中快取,低相似度視為未命中,中間灰色地帶可選擇使用較小模型進行意圖驗證。
  • 支援多種嵌入/驗證提供者:OpenAI、Mistral AI 以及 Anthropic/Claude(透過 Voyage AI 進行嵌入)。
  • 支援 /v1/chat/completions 串流,快取命中時以 OpenAI 相容的 SSE 區塊回傳。
  • 可透過 PATCH 端點在執行時期調整門檻值與灰色地帶驗證器。
  • 管理端點(/metrics、/v1/stats、/v1/config、/v1/cache 等)支援 Bearer token 認證。
  • 使用 BadgerDB 進行持久化快取,可設定 TTL(預設 24 小時)。
  • 提供快取預熱與可觀測性端點。

使用情境

  • RAG 應用程式中反覆出現的內部問題。
  • AI 代理程式中重複的推理或工具使用模式。
  • 客服機器人收到相似的客戶問題。
  • 任何包含重複或近似重複請求的生產級 LLM 工作負載。

快速開始

Docker: bash git clone https://github.com/messkan/prompt-cache.git cd prompt-cache export EMBEDDING_PROVIDER=openai export OPENAI_API_KEY=your_key_here # 強烈建議在非本機部署時設定 export API_AUTH_TOKEN=your-secret-token docker-compose up -d 從原始碼執行: bash git clone https://github.com/messkan/prompt-cache.git cd prompt-cache export EMBEDDING_PROVIDER=openai export OPENAI_API_KEY=your-openai-api-key export API_AUTH_TOKEN=your-secret-token ./scripts/run.sh 或: bash make run # 或 go build -o prompt-cache cmd/api/main.go ./prompt-cache OpenAI 相容客戶端範例: python from openai import OpenAI client = OpenAI( base_url='http://localhost:8080/v1', api_key='your-openai-api-key', ) client.chat.completions.create( model='gpt-4o-mini', messages=[{'role': 'user', 'content': 'Explain quantum physics'}], )

授權與價格

PromptCache 採用 MIT 授權條款,為開放原始碼且免費使用。授權以「現狀」提供,不附帶任何形式的擔保。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/messkanprompt-cache.svg)](https://yunodb.com/tools/messkanprompt-cache?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/messkanprompt-cache?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/messkanprompt-cache.svg" alt="Featured on YunoDB" height="20"></a>