sndr_core_engine
SNDR Core Engine (Genesis) — 針對消費級 NVIDIA(Ampere sm_86,2× A5000/3090)的 vLLM 執行時期修補疊加層,支援 Qwen3.6 + Gemma4。Qwen3.6-35B-A3B FP8 約 240 tok/s,
sndr_core_engine 是什麼?
SNDR Core Engine (Genesis) — 針對消費級 NVIDIA(Ampere sm_86,2× A5000/3090)的 vLLM 執行時期修補疊加層,支援 Qwen3.6 + Gemma4。Qwen3.6-35B-A3B FP8 約 240 tok/s,27B-int4 混合 GDN+Mamba,Gemma4 26B/31B AWQ,256K 上下文。321 個修補程式:TurboQuant k8v4 KV、MTP/DFlash 推測解碼、完整 cudagraph、混合 GDN。vLLM 固定於 dev424 + Control Center GUI。