worker-vllm

用於提供大型語言模型端點的 Runpod 工作者模板。由 vLLM 提供支援。

worker-vllm 是什麼?

用於提供大型語言模型端點的 Runpod 工作者模板。由 vLLM 提供支援。