ome

Open Model Engine (OME) — 用於 LLM 服務、GPU 排程和模型生命週期管理的 Kubernetes 運算子。與 SGLang、vLLM、TensorRT-LLM 和 Triton 搭配使用。

ome 是什麼？

Open Model Engine (OME) — 用於 LLM 服務、GPU 排程和模型生命週期管理的 Kubernetes 運算子。與 SGLang、vLLM、TensorRT-LLM 和 Triton 搭配使用。