QEngine
快速開源(MIT)LLM 引擎,採用 C++/CUDA 開發,適用於 RTX 3090 等級 GPU。單一 OpenAI/Anthropic 相容伺服器內含五種模型:Qwen3.8-Flash-Next、Qwen3.8-27B、DeepSeek-V4.1-Flash、GLM-5.3-Flash、gpt-oss-120B。在 3 張 RTX 3090 上:總輸出高達 1,061 tok/s、單串流 524
QEngine 是什麼?
快速開源(MIT)LLM 引擎,採用 C++/CUDA 開發,適用於 RTX 3090 等級 GPU。單一 OpenAI/Anthropic 相容伺服器內含五種模型:Qwen3.8-Flash-Next、Qwen3.8-27B、DeepSeek-V4.1-Flash、GLM-5.3-Flash、gpt-oss-120B。在 3 張 RTX 3090 上:總輸出高達 1,061 tok/s、單串流 524 tok/s、預填充 13,280 tok/s、支援最多 1M 上下文。