nvidia_gpu_exporter
使用 nvidia-smi 二進位檔或 NVML 的 Nvidia GPU 匯出器,用於 Prometheus
nvidia_gpu_exporter 是什麼?
使用 nvidia-smi 二進位檔或 NVML 的 Nvidia GPU 匯出器,用於 Prometheus
nvidia_gpu_exporter 概覽
這是什麼
nvidia_gpu_exporter 是一個專為 NVIDIA GPU 設計的 Prometheus 匯出工具。它透過直接讀取 NVIDIA 驅動程式庫 (NVML) 或執行 nvidia-smi 二進位檔來收集指標。此工具能將每個程序的 GPU 使用量歸因於容器、systemd 服務與 MIG 實例。支援在 Linux、Windows 與 macOS 上執行,可部署於裸機、Docker 或 Kubernetes。
主要功能
- 收集使用率、記憶體、功耗、溫度、時脈、降頻原因、ECC 錯誤、編碼器/解碼器統計資料以及每個程序的 GPU 使用量,並以 nvidia_smi_* Prometheus 指標格式公開。
- 支援三種收集後端:原生 NVML(Linux 與 Windows 預設)、nvidia-smi 子程序(macOS 與 Linux -static 預設),以及無需 GPU 即可提供合成指標的示範後端。
- NVML 後端額外匯出:XID 與 MIG XID 錯誤計數器、總消耗能量、每個 MIG 實例指標、GPM 活動比率、PCIe 吞吐量、NVLink 與 C2C 連結指標、每個風扇轉速、BAR1 記憶體使用量、熱閾值與電源來源狀態。
- 可將每個程序的 GPU 記憶體與引擎使用率歸因於 Linux 上的容器(Docker、containerd、CRI-O、Podman)、systemd 服務或 MIG 實例。
- 提供兩個官方 Grafana 儀表板:Nvidia GPU Metrics(ID 14574)與 Nvidia GPU Overview(ID 25547)。
- 發行版成品、容器映像與 Helm Chart 皆經過簽署,並附有 GitHub 建置來源證明。
使用情境
- 消費級與專業級 GPU(GeForce/RTX)、工作站與遊戲主機,此類環境通常缺乏資料中心級的工具。
- 小型 Kubernetes 叢集、邊緣裝置與家庭實驗室,需要 GPU 指標、警示與儀表板,但無需安裝 NVIDIA GPU Operator 堆疊。
- 虛擬化或受限環境,例如 vGPU 客體、MIG 切片、鎖定的容器與 WSL2。
- 橫跨 Linux 與 Windows 的新舊顯示卡混合機群,需要單一匯出工具提供統一的指標架構。
- 透過 ssh 包裝命令(exec 後端)遠端監控另一台主機。
快速開始
在已安裝 NVIDIA 驅動程式與 NVIDIA Container Toolkit 的 Linux 機器上:bashdocker run -d --name nvidia_gpu_exporter --restart unless-stopped --gpus all -e NVIDIA_DRIVER_CAPABILITIES=utility -p 9835:9835 utkuozdemir/nvidia_gpu_exporter:latestcurl http://localhost:9835/metrics若想使用 nvidia-smi 子程序後端,請在映像名稱後加上 --collect.backend=exec。關於 Windows、macOS、套件、Kubernetes 以及無 Docker 的執行方式,請參閱儲存庫中的 INSTALL.md。
授權與價格
此專案採用 MIT 授權條款。為開放原始碼且免費使用。
內容整理自該專案公開的 README 與儲存庫資訊。