memra

memra 是一個 Rust + CUDA 推論引擎，用於在 NVIDIA GPU 上提供 GGUF 模型服務。它針對 Blackwell (sm_120a) 進行最佳化，並有獨立閘控的 Hopper/H100 (sm_90a) 通道。

memra 是什麼？

memra 是一個 Rust + CUDA 推論引擎，用於在 NVIDIA GPU 上提供 GGUF 模型服務。它針對 Blackwell (sm_120a) 進行最佳化，並有獨立閘控的 Hopper/H100 (sm_90a) 通道。