---
title: GPU 任务排队、利用率低或显存不足，如何定位瓶颈？
description: 结合 DCGM、Prometheus、Grafana 和 profiler，区分 GPU 调度、数据加载、计算、通信与显存瓶颈。
topic: gpu
tags: [gpu, dcgm, prometheus, grafana, kubernetes, performance]
updated: "2026-11-17"
---

# GPU 任务排队、利用率低或显存不足，如何定位瓶颈？

[返回题库](../index.md)

## 题目

GPU 任务排队、利用率低或显存不足时，如何区分调度、数据加载和计算瓶颈？DCGM 中的 SM Activity、SM Occupancy 等指标应该怎样解释和使用？

## 核心思路

先判断任务是否已经获得资源，再看 GPU 在运行期间等待什么，最后分析计算效率与内存约束。

```text
提交任务 → 排队与资源分配 → 容器启动和模型加载
                                   ↓
读取数据 → CPU 预处理 → CPU/GPU 传输 → GPU 计算 → 输出
                                   ↕
                         多卡通信与同步
```

流水线中的步骤可能重叠。目标是找到影响端到端耗时的关键路径，而不是把每个资源指标都提高到 100%。

`nvidia-smi` 适合快速检查设备、进程、显存和错误线索，但通用 GPU Utilization 不能解释 SM 是否充分参与计算。性能分析应结合 **DCGM profiling 指标、应用阶段耗时和 profiler 时间线**。

## 先定义性能问题与比较基线

开始排查前记录任务类型、GPU 型号和数量、驱动与框架版本、模型版本、输入形状、精度、batch、并发和数据来源。区分冷启动、预热与稳定运行阶段。

| 任务 | 主要结果指标 |
| --- | --- |
| 训练 | step time、samples/s 或 tokens/s、多卡扩展效率，以及收敛和结果质量 |
| 在线推理 | 吞吐、排队时间、P95/P99 延迟；生成式任务还可看首 token 延迟和逐 token 延迟 |
| 批量处理 | 作业完成时间、处理量、失败重试与单位任务资源成本 |

GPU 利用率是解释结果的线索，不能取代这些指标。例如增加推理 batch 可能提高吞吐，却让尾延迟超过目标；降低精度也需要验证结果质量。

## 第一层：任务到底排在哪里？

任务未开始执行时，先区分 Kubernetes 调度、任务框架队列和启动准备。

```bash
kubectl get pods -n demo -o wide
kubectl describe pod <pod-name> -n demo
kubectl describe node <gpu-node>
```

| 状态 | 调查方向 |
| --- | --- |
| Pod 尚未分配 Node | GPU/CPU/内存请求、节点标签、亲和性、污点、PVC 与调度事件 |
| Pod 已运行，框架任务仍排队 | Ray、Slurm 或其他调度层的资源映射、配额、优先级、并发限制 |
| 已获得设备，但尚无稳定计算 | 镜像拉取、模型下载、权重加载、编译和预热 |

重点检查：

- 节点是否正常上报 GPU，device plugin 是否健康。
- GPU 型号、MIG profile、拓扑等约束是否满足。
- 集群空闲总量是否集中在任务能够使用的位置。
- CPU、主机内存和存储是否同时满足条件。
- 分布式任务是否需要多个 worker 同时获得资源，相关调度层是否支持并正确配置这种约束。

例如集群空闲 8 张 GPU，但分布在 4 台各有 2 张空闲卡的节点上，一个需要 4 张 GPU 的 Pod 仍然无法调度，因为单个 Pod 只能位于一个节点。

标准整卡分配不会因为已分配 GPU 的瞬时利用率低，就自动将它交给新任务。GPU 共享、MIG、时间切片或 MPS 需要额外配置，各自的隔离、资源记账和性能语义不同。

因此，排队阶段首先分析资源分配与调度条件。运行时的 SM 指标无法单独解释尚未获得资源的任务为什么排队。

## 第二层：正确理解 DCGM 指标

SM 是 Streaming Multiprocessor，可理解为 GPU 执行线程工作的计算单元。Warp 是 NVIDIA GPU 上组织线程执行的基本单位，通常由 32 个线程组成。Warp 驻留在 SM 上，不代表它每个周期都能执行指令，也可能在等待数据或依赖。

| 指标 | 解释 | 不能据此直接判断 |
| --- | --- | --- |
| `DCGM_FI_DEV_GPU_UTIL` | 采样窗口内有 kernel 执行的时间比例，常见范围 0–100 | 算力是否充分发挥、所有 SM 是否忙碌 |
| `DCGM_FI_PROF_SM_ACTIVE` | SM 有活跃 warp 的周期比例，对设备内 SM 和采样时间形成汇总，常见范围 0–1 | 每个周期都有效发射指令、达到峰值 FLOPS |
| `DCGM_FI_PROF_SM_OCCUPANCY` | 驻留 warp 数相对理论上限的比例，按指标定义进行采样汇总，常见范围 0–1 | Occupancy 越高性能一定越好 |
| `DCGM_FI_PROF_DRAM_ACTIVE` | 显存接口活跃程度 | 已占用多少显存，或已经准确达到标称带宽的某个百分比 |
| `DCGM_FI_PROF_PIPE_TENSOR_ACTIVE` | Tensor 管线活跃程度（设备支持时） | 不使用 Tensor 运算的任务一定低效 |
| `DCGM_FI_DEV_FB_USED` / `FB_FREE` | 显存已用与可用容量，通常以 MiB 表示 | 显存带宽是否构成瓶颈 |
| `DCGM_FI_PROF_PCIE_RX_BYTES` / `TX_BYTES` | profiling 采样区间的 PCIe 吞吐率，标准语义为 bytes/s | 流量全是输入数据，或传输已饱和 |
| `DCGM_FI_PROF_NVLINK_RX_BYTES` / `TX_BYTES` | 设备支持时的 NVLink 传输率 | 只凭字节数即可判断通信是关键路径 |
| 功耗、温度、时钟及限制原因 | 判断运行状态与潜在降频 | 功耗低就一定在等数据，或温度高就一定发生热降频 |

具体支持情况、类型、采样和聚合方式，以 GPU 架构、DCGM 版本、exporter 配置及实际指标说明为准。DCGM 的设备级时间窗口汇总，也不能与 profiler 的单 kernel occupancy 无条件等同。

### 为什么 GPU Utilization 高，仍可能没有充分利用 GPU？

如果设备一直有小规模 kernel 执行，GPU Utilization 可以很高，但同时参与工作的 SM 很少。SM Activity 与 Occupancy 提供了更细的观察维度。

SM Activity 同时包含空间和时间上的平均。例如在简化模型中，20% 的 SM 整段时间都有活跃 warp，与全部 SM 只有 20% 的时间有活跃 warp，都可能得到 0.2。单看这个数不能区分并行覆盖不足与间歇等待，需要结合时间线和任务阶段证据。等待内存的 warp 也可以被计为活跃。

反过来，较高的 Occupancy 只说明驻留了较多 warp；这些 warp 可能在等待显存或依赖。某些高效 kernel 需要较多寄存器或共享内存，会限制可驻留 warp 数，Occupancy 不高也可能有良好性能。

**Occupancy 是解释性能的指标，不是必须最大化的目标。** 不能仅凭低值就认定配置错误，也不能为了提高它引入寄存器溢出或其他代价。

## 第三层：GPU 空闲时间花在哪里？

训练任务可观察等待下一批数据、CPU 解码/增强、H2D（Host-to-Device）传输、前向/反向计算、通信和优化器更新等阶段。推理任务还要分开请求排队、调度 batching 和实际执行。

| 观察组合 | 可提出的假设 | 有区分力的验证 |
| --- | --- | --- |
| SM Activity 间歇降低，等待 batch 时间高 | 数据供应不足 | 合成数据、本地缓存和预处理对照 |
| 数据已就绪，GPU 时间线仍有明显空隙 | CPU 提交开销、频繁同步、传输串行化 | Profiler 对齐 CPU 调用、拷贝与 kernel |
| GPU Utilization 高但 SM 指标偏低 | 工作规模小、并行覆盖不足或 kernel 资源限制 | 对比 batch/形状，查看 kernel 分布及资源占用 |
| SM 与 DRAM 活跃，吞吐仍低 | 可能受显存访问限制 | 分析实际带宽、缓存、访存和 kernel stall |
| 部分卡忙、部分卡等待 | worker 工作量不均、数据或节点差异 | 比较每个 rank 的阶段耗时与同步点 |

这些组合用于形成假设，不是固定诊断规则。网络流量高不等于网络饱和，PCIe 流量低也不等于传输没有延迟问题。

### 数据加载：用对照实验逐层排除

| 实验 | 主要排查对象 |
| --- | --- |
| 使用 GPU 上预先生成的同形状数据 | 尽量排除存储、CPU 准备与 H2D，观察计算侧上限 |
| 使用 CPU 上生成的同形状数据 | 保留 H2D，与上一实验对比传输路径 |
| 将远端数据放到本地 SSD | 区分远端存储与网络影响 |
| 暂停昂贵的数据增强 | 判断 CPU 解码、变换的成本 |
| 调整 DataLoader worker 和预取深度 | 观察供应能力是否受并行度限制，以及是否引入 CPU/内存压力 |

比较时尽量固定输入形状、类型和计算路径；数据内容可能影响稀疏、动态分支或压缩行为，合成数据结果不能无条件外推。还要区分冷热缓存。

CPU 总利用率不高，也可能存在单线程瓶颈或 cgroup CPU throttling。除了 CPU 使用率，还要看各核、限流、I/O 等待、存储延迟和加载阶段耗时。

可能的优化包括数据格式与小文件组织、缓存、预取、合理增加 worker、优化解码、pinned memory 与异步拷贝。Worker 越多不一定越快；pinned memory 和预取会占用主机内存。异步 API 也不保证实际重叠，要确认内存、stream 与硬件条件，并通过时间线验证。

### CPU 提交与同步：数据不缺，GPU 也可能在等

常见原因包括 Python 循环提交大量小算子、频繁取回 GPU 标量、重复搬运张量，以及不必要的同步。例如 `.item()` 可能让 CPU 等待 GPU 结果，反复使用会破坏流水线。

GPU 操作通常异步执行，Python 调用返回不等于 GPU 工作完成。计时使用合适的 CUDA events、同步边界或 profiler，避免只测到提交时间；也不要在每个算子后插入同步，把真实并行行为改成串行。

## 第四层：GPU 忙碌时，区分计算、带宽与通信

先用 PyTorch Profiler 或 Nsight Systems 找到耗时阶段，再按需要用 Nsight Compute 深入重点 kernel。Profiling 有开销，选择代表性时间窗口，并记录是否改变运行行为。

| 瓶颈方向 | 深入检查 | 可能的优化与约束 |
| --- | --- | --- |
| 计算密集 | 主要 kernel 的执行时间、计算管线、数据类型与矩阵形状 | 更合适的算子、混合精度或 Tensor Core 路径，验证数值与质量 |
| 显存访问 | DRAM 活跃度、实际带宽、缓存命中、访问模式、算术强度 | 减少中间张量、改善布局、算子融合 |
| 小 kernel 开销 | kernel 数量、启动开销、CPU/GPU 间空隙 | 合批、融合或适用时使用 CUDA Graphs，验证动态形状约束 |
| 多卡通信 | AllReduce/AllGather 等耗时、拓扑、NVLink/PCIe/RDMA 路径 | 调整通信与计算重叠、数据布局或并行策略 |
| 慢 worker | 每个 rank 的数据加载、计算和到达同步点时间 | 排查不均衡输入、慢节点或负载干扰 |
| 功率或热约束 | 时钟下降是否与限制原因和性能退化同时出现 | 检查功率配置、散热和运行环境 |

单卡正常、多卡扩展效果差时，重点排查通信、同步和工作量分配。通信 kernel 也可能让 GPU 看起来很忙，所以高 GPU/SM Activity 不代表都在做有效模型计算。

多卡平均值容易掩盖一个慢 rank。应保留每卡、每节点和任务身份，结合整体 step time 分析。通信字节数要与传输耗时、链路能力及拓扑一起看。

## 第五层：显存不足先分类型，再定位占用来源

| 现象 | 优先排查 |
| --- | --- |
| Pod 显示 `OOMKilled` | 容器或节点的主机 RAM 压力，结合终止状态与系统日志判断 |
| 框架报 `CUDA out of memory` | GPU 显存分配失败 |

增加 Kubernetes 的普通 `memory` limit 不会增加 GPU 显存。主机内存与 GPU 显存可能同时受压，例如数据预取或 offload 都会增加主机内存需求。

训练工作集通常包括模型参数、梯度、优化器状态、激活值、临时 workspace 和框架缓存；推理还可能有显著的 KV cache，与并发、上下文长度等有关。

| 失败时机 | 优先检查 |
| --- | --- |
| 加载模型时 | 模型尺寸、重复加载、其他进程或共享设备占用 |
| 第一轮计算时 | 激活值、workspace、编译或初始化开销 |
| 运行一段时间后 | 张量或计算图长期持有、缓存增长 |
| 特定 batch 偶发失败 | 输入长度、分辨率或动态 shape 峰值 |
| 并发提高后失败 | 同时在途请求、KV cache、batch 和临时工作集 |

结合 DCGM framebuffer 历史曲线与框架分配器统计。PyTorch 的 `allocated` 表示活跃分配，`reserved` 表示缓存分配器保留的内存；设备总占用还包含 CUDA context、通信库及其他分配。不同 allocator 后端的统计细节也可能不同。

`reserved` 明显大于 `allocated` 不足以单独证明碎片；需要内存统计或快照。`empty_cache()` 不能释放仍被活跃张量占用的显存，也不能消除本来就过大的工作集。

可选择减小 micro-batch、限制输入或并发、混合精度、梯度累积、activation checkpointing、模型/优化器分片或修复泄漏。每种方案都有代价：checkpointing 以更多计算换显存，offload 可能增加 RAM 和 PCIe 压力，梯度累积也不保证所有模型行为与大 batch 完全相同。

## DCGM + Prometheus + Grafana 如何形成有效证据？

### 面板组织

建议在相同时间窗口中展示：

1. 任务身份、节点、设备 UUID/MIG 实例、运行阶段与发布/启动时间。
2. 每卡 SM Activity、SM Occupancy、GPU Utilization，以及支持的 DRAM/Tensor 管线指标。
3. 显存、PCIe/NVLink、功耗、温度与时钟。
4. Pod CPU、CPU throttling、主机内存、网络及数据存储指标。
5. 应用吞吐、step time、数据等待时间和通信时间。

DCGM 是设备侧观测，Pod 标签通常来自资源映射。共享 GPU、MIG、时间切片或 MPS 场景下，必须确认指标是物理设备级、实例级还是任务级。附带 Pod 标签不保证它就是该 Pod 独占产生的负载，不应重复累加关联到多个 Pod 的整卡指标。

### 查询示例：先确认类型和单位

以下示例假设实际 exporter 具备 `Hostname`、`exported_namespace`、`exported_pod` 标签，Grafana 已定义对应变量。标签名称和多集群作用域应按实际采集链路调整；这些示例未连接实际集群执行。

```promql
# 0–1 的 gauge：直接画曲线，不使用 rate()
DCGM_FI_PROF_SM_OCCUPANCY{
  Hostname=~"${hostname:regex}",
  exported_namespace=~"${namespace:regex}",
  exported_pod=~"${pod:regex}"
}
```

GPU Utilization 通常是 0–100，不能与 0–1 的 SM 指标共用同一比例配置却不做转换。Grafana 的 `percentunit` 对应 0–1；若配置 80% 阈值，应写 0.8。阈值本身也应结合任务基线，不能把高值或低值统一设为故障。

```promql
# 标准 DCGM profiling 的 PCIe 字段已是 bytes/s，不再求 rate()
DCGM_FI_PROF_PCIE_RX_BYTES{
  Hostname=~"${hostname:regex}",
  exported_namespace=~"${namespace:regex}",
  exported_pod=~"${pod:regex}"
}
```

对比真正的累计字节 counter：

```promql
# 容器网络累计字节需要先转成每秒速率
rate(container_network_receive_bytes_total{
  namespace=~"${namespace:regex}",
  pod=~"${pod:regex}"
}[$__rate_interval])
```

先核对 exporter 的 HELP/TYPE、采集定义和版本，再决定是否使用 `rate()`。即使 TYPE 配置为 counter，也要确认其数值是否真的是累计值；不能只凭名称含 BYTES 或 TOTAL 就机械套用。

PCIe 和网络速率应使用 bytes/sec 单位。Framebuffer 字段若以 MiB 输出，可选择正确的 MiB 单位，或乘 `1024 * 1024` 转成 bytes 后显示，避免与十进制 MB 混用。

### 聚合、标签与采样的陷阱

- 先明确 cluster、namespace、节点和任务范围，防止同名 Pod 混入。设备标识优先使用稳定的 UUID，MIG 需要保留实例身份。
- 每卡曲线和平均线采用一致的筛选、去重与设备集合；异构 GPU 的简单平均不能代表统一的算力利用率。
- 聚合后图例只引用保留下来的标签。例如按 namespace/pod 聚合后，不再引用已经被移除的 container 或 image。
- 不把缺失或不支持的 profiling 指标自动填成零。检查采集健康、设备支持、权限、multiplexing 及与其他 profiler 的兼容性。
- Grafana 的刷新间隔不等于 DCGM 采样或 Prometheus scrape 间隔。页面刷新更快不会补回未采到的峰值；长窗口平均也会掩盖短时停顿。
- 总 PCIe/网络吞吐可作为辅助汇总，但定位慢卡时必须保留各设备或链路差异。

## 一个完整的诊断推演

以下为教学案例，不是实际项目结果。

现象：训练任务已经获得 4 张 GPU，GPU Utilization 很高，但 samples/s 明显低于相同模型的基线。

1. 确认比较使用相同输入、精度、batch 和预热阶段，并检查设备型号与时钟。
2. 对齐每卡 SM Activity、Occupancy、DRAM、PCIe 和 step time，发现 SM 指标偏低。
3. 不直接认定数据加载慢；用 GPU 常驻合成输入对照，吞吐仍然偏低，数据链路不太可能是主要原因。
4. 查看时间线，发现大量小 kernel 和 CPU 同步点；继续定位代码中的细粒度循环和标量取回。
5. 尝试合并运算、减少同步，比较端到端 step time、结果正确性和显存峰值。
6. 再次检查多卡扩展效率，确认新的主要瓶颈是否已经转移到通信或其他阶段。

如果第 3 步显著加速，则改为逐层加回 H2D、CPU 预处理和真实存储，找出性能下降出现在哪一步。实验结论决定后续方向，而不是按照某个指标直接套修复措施。

## 常见误区

- GPU Utilization 100% 就代表算力已经用满。
- SM Occupancy 越高，吞吐一定越高。
- GPU 空闲就一定是磁盘慢，忽略 CPU 提交、同步和其他 worker。
- 显存使用量与显存带宽利用率是同一件事。
- 对所有带 BYTES 的指标都使用 `rate()`。
- 只看多卡平均值，忽略慢 rank 和设备差异。
- CUDA OOM 时增加容器 RAM limit，或把 `empty_cache()` 当成通用修复。
- 单纯提高 batch、worker、预取或并发，不检查显存、延迟和正确性变化。

## 面试回答示例

> 我会先区分资源尚未分配和已分配后的执行效率问题。排队时看调度事件、队列、GPU 资源映射、节点约束和碎片。运行后不会只依赖 nvidia-smi 的 GPU Utilization，而是通过 DCGM 对比每卡 SM Activity、SM Occupancy、显存、DRAM 和传输指标，并关联 CPU、网络及任务阶段耗时。Occupancy 表示驻留 warp 程度，不等于执行效率，所以还会用合成数据、本地数据和单卡对照实验，以及 profiler 时间线验证假设。显存不足先区分主机 OOM 和 CUDA OOM，再按失败阶段检查参数、激活、优化器、KV cache 和缓存。优化结果以相同工作负载下的吞吐、延迟、资源峰值与正确性验证。

如果实际做过 DCGM/Grafana dashboard，可以补充具体负责的指标、查询、关联方式和诊断案例。监控建设、集群调度与 kernel 优化是不同职责，应按真实经历说明。

## 延伸问题

- 为什么高 Occupancy 的 kernel 仍可能受显存访问限制？
- 如何区分数据加载慢与多卡同步导致的空闲？
- MIG 或 GPU 共享后，怎样避免将设备总负载误算为单个 Pod 的负载？
- Profiling 指标缺失时，怎样区分不支持、采集失败和真实空闲？
- [Kubernetes 的 Pending、OOMKilled 和网络故障怎样排查？](../kubernetes/troubleshooting.md)

## 参考资料

- [NVIDIA DCGM Feature Overview：Profiling Metrics](https://docs.nvidia.com/datacenter/dcgm/latest/user-guide/feature-overview.html)
- [NVIDIA DCGM Exporter](https://github.com/NVIDIA/dcgm-exporter)
- [Kubernetes：Schedule GPUs](https://kubernetes.io/docs/tasks/manage-gpus/scheduling-gpus/)
- [PyTorch：CUDA memory management](https://docs.pytorch.org/docs/stable/notes/cuda.html#cuda-memory-management)
