memra
memra 是一個專為 NVIDIA RTX PRO 6000 Blackwell 和 RTX 5090 打造的 Rust + CUDA 推論引擎。它透過 OpenAI 相容 API 提供 GGUF 模型服務,且每個預設值皆以這兩張顯示卡為基準進行測量——兩者皆為 Blackwell sm_120a,並另設有獨立編譯閘
memra 是什麼?
memra 是一個專為 NVIDIA RTX PRO 6000 Blackwell 和 RTX 5090 打造的 Rust + CUDA 推論引擎。它透過 OpenAI 相容 API 提供 GGUF 模型服務,且每個預設值皆以這兩張顯示卡為基準進行測量——兩者皆為 Blackwell sm_120a,並另設有獨立編譯閘控的 Hopper/H100 (sm_90a) 通道。