prompt-cache
透過智慧語義快取,將 LLM 成本降低最高 80%,並實現亞毫秒級回應。一個採用 Go 語言編寫、可無縫整合、與供應商無關的 LLM 代理,搭配亞毫秒級
prompt-cache 是什麼?
透過智慧語義快取,將 LLM 成本降低最高 80%,並實現亞毫秒級回應。一個採用 Go 語言編寫、可無縫整合、與供應商無關的 LLM 代理,搭配亞毫秒級回應。
prompt-cache 概覽
這是什麼
PromptCache 是一個輕量級、自託管的語意快取工具,專為生成式 AI 工作負載設計。它位於應用程式與 LLM 提供者之間,能偵測相似的提示詞,並直接回傳先前快取的回應,避免再次呼叫模型。此工具以 Go 語言撰寫,可作為無縫接軌、不限提供者的代理層。
主要功能
- 採用雙門檻語意比對策略:高相似度直接命中快取,低相似度視為未命中,中間灰色地帶可選擇使用較小模型進行意圖驗證。
- 支援多種嵌入/驗證提供者:OpenAI、Mistral AI 以及 Anthropic/Claude(透過 Voyage AI 進行嵌入)。
- 支援
/v1/chat/completions串流,快取命中時以 OpenAI 相容的 SSE 區塊回傳。 - 可透過 PATCH 端點在執行時期調整門檻值與灰色地帶驗證器。
- 管理端點(
/metrics、/v1/stats、/v1/config、/v1/cache等)支援 Bearer token 認證。 - 使用 BadgerDB 進行持久化快取,可設定 TTL(預設 24 小時)。
- 提供快取預熱與可觀測性端點。
使用情境
- RAG 應用程式中反覆出現的內部問題。
- AI 代理程式中重複的推理或工具使用模式。
- 客服機器人收到相似的客戶問題。
- 任何包含重複或近似重複請求的生產級 LLM 工作負載。
快速開始
Docker: bash git clone https://github.com/messkan/prompt-cache.git cd prompt-cache export EMBEDDING_PROVIDER=openai export OPENAI_API_KEY=your_key_here # 強烈建議在非本機部署時設定 export API_AUTH_TOKEN=your-secret-token docker-compose up -d 從原始碼執行: bash git clone https://github.com/messkan/prompt-cache.git cd prompt-cache export EMBEDDING_PROVIDER=openai export OPENAI_API_KEY=your-openai-api-key export API_AUTH_TOKEN=your-secret-token ./scripts/run.sh 或: bash make run # 或 go build -o prompt-cache cmd/api/main.go ./prompt-cache OpenAI 相容客戶端範例: python from openai import OpenAI client = OpenAI( base_url='http://localhost:8080/v1', api_key='your-openai-api-key', ) client.chat.completions.create( model='gpt-4o-mini', messages=[{'role': 'user', 'content': 'Explain quantum physics'}], )
授權與價格
PromptCache 採用 MIT 授權條款,為開放原始碼且免費使用。授權以「現狀」提供,不附帶任何形式的擔保。
內容整理自該專案公開的 README 與儲存庫資訊。