dgx-spark-inference-stack

為您的家提供服務!專為您的 Nvidia DGX Spark(即桌上的 Grace Blackwell AI 超級電腦)設計的推論堆疊。目前主要基於 vLLM 且為單一 Spark 配置。

dgx-spark-inference-stack 是什麼?

為您的家提供服務!專為您的 Nvidia DGX Spark(即桌上的 Grace Blackwell AI 超級電腦)設計的推論堆疊。目前主要基於 vLLM 且為單一 Spark 配置。專為預算有限的夥伴打造。如需最新/測試中的版本,請查看分支。