pegaflow
高效能 KV 快取儲存,專為 LLM 推論設計 — GPU 卸載、SSD 快取,以及透過 RDMA 進行跨節點共享。相容於 vLLM 與 SGLang。
pegaflow 是什麼?
高效能 KV 快取儲存,專為 LLM 推論設計 — GPU 卸載、SSD 快取,以及透過 RDMA 進行跨節點共享。相容於 vLLM 與 SGLang。
高效能 KV 快取儲存,專為 LLM 推論設計 — GPU 卸載、SSD 快取,以及透過 RDMA 進行跨節點共享。相容於 vLLM 與 SGLang。
高效能 KV 快取儲存,專為 LLM 推論設計 — GPU 卸載、SSD 快取,以及透過 RDMA 進行跨節點共享。相容於 vLLM 與 SGLang。