paddock

原生 Rust 推論伺服器,用於在 NVIDIA 和 Apple Silicon 上的開放模型。相容 OpenAI 和 Anthropic 的 API,GGUF + safetensors + MLX,FP8/NVFP4/MXFP4/Q8/Q4

paddock 是什麼?

原生 Rust 推論伺服器,用於在 NVIDIA 和 Apple Silicon 上的開放模型。相容 OpenAI 和 Anthropic 的 API,GGUF + safetensors + MLX,FP8/NVFP4/MXFP4/Q8/Q4,內建 Studio

paddock 概覽

這是什麼

Paddock 是一個以 Rust 撰寫的 AI 推論伺服器,專為 NVIDIA GPU 與 Apple Silicon 設計。它提供與 OpenAI 和 Anthropic 相容的 API,並內建 Studio 用於探索與比較模型,支援 artifact 功能。此引擎為原生實作,非包裝器,包含自有的排程器、分頁 KV 快取、記憶體管理以及 CUDA 與 Metal 核心。提供兩個二進位檔:paddock-runner(核心模型執行器)與 paddock(管理員,整合 Studio 以簡化模型下載與執行)。在 macOS 上另有原生 Swift 應用程式。

主要功能

  • 原生 Rust 推論引擎,具備自訂 CUDA 與 Metal 核心。
  • 支援 NVIDIA GPU(Blackwell、Ampere、Ada Lovelace)與 Apple Silicon(macOS 26 或更新版本)。
  • 相容於 OpenAI 與 Anthropic API 格式。
  • 支援多種權重格式:GGUF、safetensors 以及 MLX(Apple Silicon 上)。
  • 支援量化格式:FP8、NVFP4、MXFP4、Q8_0、Q4_K_XL/Q4_K_L/Q4_K_M、UD-Q3_K_XL、UD-IQ3_XXS 以及 Bonsai 的三元 PTQ1_0。
  • 內建 Studio,可用於模型探索、比較與 artifact 支援。
  • 分頁 KV 快取與高效記憶體管理。

使用情境

  • 在單一 GPU 上將開源語言模型部署於生產環境。
  • 透過內建 Studio 探索與比較不同模型及量化方式。
  • 使用支援的模型進行文字生成、視覺任務、工具使用、影像生成、決策分析、表格資料處理、物件分割、文件 OCR 以及語音處理。
  • 透過 OpenRouter 整合測試模型與雲端端點。

快速開始

請參閱儲存庫 README 以取得安裝說明。在 macOS 上,可下載原生應用程式(.dmg)、命令列安裝程式(.pkg)或手動壓縮檔(.tar.gz)。在 NVIDIA 系統上,僅需 NVIDIA 驅動程式。

授權與價格

儲存庫中未標明授權條款。該軟體被列為開源。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/truesparpaddock.svg)](https://yunodb.com/tools/truesparpaddock?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/truesparpaddock?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/truesparpaddock.svg" alt="Featured on YunoDB" height="20"></a>