llm-d

在 Kubernetes 上搭配現代加速器,實現最先進的推論效能

llm-d 是什麼?

在 Kubernetes 上搭配現代加速器,實現最先進的推論效能