V

vllm

大型語言模型專用，高吞吐量且記憶體高效的推論與服務引擎

vllm 是什麼？

專為大型語言模型設計的高吞吐量、記憶體效率推論與服務引擎。許可證：Apache-2.0。