ds4-on-spark

Entrpi/ds4 是一個在 NVIDIA DGX Spark 上的 Blackwell CUDA 效能分支,源自 antirez/ds4:一鍵安裝、約 3 倍的上游預填充速度、約 1.5 倍解碼速度、DSpark 與完整的連續批次支援。

ds4-on-spark 是什麼?

Entrpi/ds4 是一個針對 NVIDIA DGX Spark 最佳化的 Blackwell CUDA 效能分支,源自 antirez/ds4。主要特色包括:一鍵安裝、約 3 倍的上游預填充速度、約 1.5 倍的解碼速度,以及 DSpark 與完整的連續批次支援。

ds4-on-spark 概覽

這是什麼

ds4-on-spark 是 Entrpi/ds4 的封裝儲存庫;Entrpi/ds4 是 antirez/ds4(DwarfStar 4)的 Blackwell CUDA 效能分支,鎖定在 v0.6.5 版本。它將上游引擎建置成可批次處理多請求的伺服器,並在 NVIDIA DGX Spark(GB10、SM121、128 GB 統一記憶體,約 119 GiB 可用)上完全地端執行 DeepSeek-V4-Flash。sm_120 目標(RTX PRO 6000 / 5090 等級)也可建置。上游仍是架構基礎與模型配方。

主要功能

  • 相較上游,回報 2.4-3.3 倍的 prefill 吞吐量,以及 2k-128k 上下文範圍內 1.33-1.47 倍的解碼速度。
  • 連續批次處理、可跨重啟存活的磁碟持久化 KV bank 前綴快取,以及 DSpark 無損推測解碼。
  • 記憶體治理機制實測可同時常駐最多 300 萬 token 的活躍上下文(使用出廠預設值時為 226 萬);未使用的上下文採需求映射。
  • 單一連續批次提供四種 API:OpenAI chat completions 與 completions、OpenAI Responses,以及 Anthropic Messages;串流、工具呼叫與思考皆走批次路徑。
  • 一鍵安裝程式會驗證主機、複製分支、為 sm_121 建置 ds4、ds4-server 與 ds4-bench、下載約 81 GiB 的 DeepSeek-V4-Flash-0731 Q2 GGUF 與約 6.5 GiB 的 DSpark drafter、執行煙霧測試,並安裝 ds4-serve 啟動器。
  • 預設啟動上下文為 512k,可透過 -c 1048576 使用模型完整的 1M 視窗。

使用情境

在單台 DGX Spark 上為 OpenAI Codex、Claude Code 等代理框架提供 DeepSeek-V4-Flash,進行深度文件匯入,以及多請求批次服務。

快速開始

bashcurl -sSL https://raw.githubusercontent.com/entrpi/ds4-on-spark/main/install.sh | bash -s -- --startds4-serveds4-serve -c 1048576

授權與價格

MIT。開源;未說明價格。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/entrpids4-on-spark.svg)](https://yunodb.com/tools/entrpids4-on-spark?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/entrpids4-on-spark?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/entrpids4-on-spark.svg" alt="Featured on YunoDB" height="20"></a>