prompt-cache

透過智慧語義快取，將 LLM 成本降低最高 80%，並實現亞毫秒級回應。一個採用 Go 語言編寫、可無縫整合、與供應商無關的 LLM 代理，搭配亞毫秒級

prompt-cache 是什麼？

透過智慧語義快取，將 LLM 成本降低最高 80%，並實現亞毫秒級回應。一個採用 Go 語言編寫、可無縫整合、與供應商無關的 LLM 代理，搭配亞毫秒級回應。