ds4-on-spark
Entrpi/ds4 是一個在 NVIDIA DGX Spark 上的 Blackwell CUDA 效能分支,源自 antirez/ds4:一鍵安裝、約 3 倍的上游預填充速度、約 1.5 倍解碼速度、DSpark 與完整的連續批次支援。
ds4-on-spark 是什麼?
Entrpi/ds4 是一個針對 NVIDIA DGX Spark 最佳化的 Blackwell CUDA 效能分支,源自 antirez/ds4。主要特色包括:一鍵安裝、約 3 倍的上游預填充速度、約 1.5 倍的解碼速度,以及 DSpark 與完整的連續批次支援。
ds4-on-spark 概覽
這是什麼
ds4-on-spark 是 Entrpi/ds4 的封裝儲存庫;Entrpi/ds4 是 antirez/ds4(DwarfStar 4)的 Blackwell CUDA 效能分支,鎖定在 v0.6.5 版本。它將上游引擎建置成可批次處理多請求的伺服器,並在 NVIDIA DGX Spark(GB10、SM121、128 GB 統一記憶體,約 119 GiB 可用)上完全地端執行 DeepSeek-V4-Flash。sm_120 目標(RTX PRO 6000 / 5090 等級)也可建置。上游仍是架構基礎與模型配方。
主要功能
- 相較上游,回報 2.4-3.3 倍的 prefill 吞吐量,以及 2k-128k 上下文範圍內 1.33-1.47 倍的解碼速度。
- 連續批次處理、可跨重啟存活的磁碟持久化 KV bank 前綴快取,以及 DSpark 無損推測解碼。
- 記憶體治理機制實測可同時常駐最多 300 萬 token 的活躍上下文(使用出廠預設值時為 226 萬);未使用的上下文採需求映射。
- 單一連續批次提供四種 API:OpenAI chat completions 與 completions、OpenAI Responses,以及 Anthropic Messages;串流、工具呼叫與思考皆走批次路徑。
- 一鍵安裝程式會驗證主機、複製分支、為 sm_121 建置 ds4、ds4-server 與 ds4-bench、下載約 81 GiB 的 DeepSeek-V4-Flash-0731 Q2 GGUF 與約 6.5 GiB 的 DSpark drafter、執行煙霧測試,並安裝 ds4-serve 啟動器。
- 預設啟動上下文為 512k,可透過 -c 1048576 使用模型完整的 1M 視窗。
使用情境
在單台 DGX Spark 上為 OpenAI Codex、Claude Code 等代理框架提供 DeepSeek-V4-Flash,進行深度文件匯入,以及多請求批次服務。
快速開始
bashcurl -sSL https://raw.githubusercontent.com/entrpi/ds4-on-spark/main/install.sh | bash -s -- --startds4-serveds4-serve -c 1048576
授權與價格
MIT。開源;未說明價格。
內容整理自該專案公開的 README 與儲存庫資訊。