GPU 任务排队、利用率低或显存不足,如何定位瓶颈?

结合 DCGM、Prometheus、Grafana 和 profiler,区分 GPU 调度、数据加载、计算、通信与显存瓶颈。

gpugpudcgmprometheusgrafanakubernetesperformance更新 2026-11-17

题目

GPU 任务排队、利用率低或显存不足时,如何区分调度、数据加载和计算瓶颈?DCGM 中的 SM Activity、SM Occupancy 等指标应该怎样解释和使用?

核心思路

先判断任务是否已经获得资源,再看 GPU 在运行期间等待什么,最后分析计算效率与内存约束。

提交任务 → 排队与资源分配 → 容器启动和模型加载
                                   ↓
读取数据 → CPU 预处理 → CPU/GPU 传输 → GPU 计算 → 输出
                                   ↕
                         多卡通信与同步

流水线中的步骤可能重叠。目标是找到影响端到端耗时的关键路径,而不是把每个资源指标都提高到 100%。

nvidia-smi 适合快速检查设备、进程、显存和错误线索,但通用 GPU Utilization 不能解释 SM 是否充分参与计算。性能分析应结合 DCGM profiling 指标、应用阶段耗时和 profiler 时间线。

先定义性能问题与比较基线

开始排查前记录任务类型、GPU 型号和数量、驱动与框架版本、模型版本、输入形状、精度、batch、并发和数据来源。区分冷启动、预热与稳定运行阶段。

任务 主要结果指标
训练 step time、samples/s 或 tokens/s、多卡扩展效率,以及收敛和结果质量
在线推理 吞吐、排队时间、P95/P99 延迟;生成式任务还可看首 token 延迟和逐 token 延迟
批量处理 作业完成时间、处理量、失败重试与单位任务资源成本

GPU 利用率是解释结果的线索,不能取代这些指标。例如增加推理 batch 可能提高吞吐,却让尾延迟超过目标;降低精度也需要验证结果质量。

第一层:任务到底排在哪里?

任务未开始执行时,先区分 Kubernetes 调度、任务框架队列和启动准备。

kubectl get pods -n demo -o wide
kubectl describe pod <pod-name> -n demo
kubectl describe node <gpu-node>
状态 调查方向
Pod 尚未分配 Node GPU/CPU/内存请求、节点标签、亲和性、污点、PVC 与调度事件
Pod 已运行,框架任务仍排队 Ray、Slurm 或其他调度层的资源映射、配额、优先级、并发限制
已获得设备,但尚无稳定计算 镜像拉取、模型下载、权重加载、编译和预热

重点检查:

例如集群空闲 8 张 GPU,但分布在 4 台各有 2 张空闲卡的节点上,一个需要 4 张 GPU 的 Pod 仍然无法调度,因为单个 Pod 只能位于一个节点。

标准整卡分配不会因为已分配 GPU 的瞬时利用率低,就自动将它交给新任务。GPU 共享、MIG、时间切片或 MPS 需要额外配置,各自的隔离、资源记账和性能语义不同。

因此,排队阶段首先分析资源分配与调度条件。运行时的 SM 指标无法单独解释尚未获得资源的任务为什么排队。

第二层:正确理解 DCGM 指标

SM 是 Streaming Multiprocessor,可理解为 GPU 执行线程工作的计算单元。Warp 是 NVIDIA GPU 上组织线程执行的基本单位,通常由 32 个线程组成。Warp 驻留在 SM 上,不代表它每个周期都能执行指令,也可能在等待数据或依赖。

指标 解释 不能据此直接判断
DCGM_FI_DEV_GPU_UTIL 采样窗口内有 kernel 执行的时间比例,常见范围 0–100 算力是否充分发挥、所有 SM 是否忙碌
DCGM_FI_PROF_SM_ACTIVE SM 有活跃 warp 的周期比例,对设备内 SM 和采样时间形成汇总,常见范围 0–1 每个周期都有效发射指令、达到峰值 FLOPS
DCGM_FI_PROF_SM_OCCUPANCY 驻留 warp 数相对理论上限的比例,按指标定义进行采样汇总,常见范围 0–1 Occupancy 越高性能一定越好
DCGM_FI_PROF_DRAM_ACTIVE 显存接口活跃程度 已占用多少显存,或已经准确达到标称带宽的某个百分比
DCGM_FI_PROF_PIPE_TENSOR_ACTIVE Tensor 管线活跃程度(设备支持时) 不使用 Tensor 运算的任务一定低效
DCGM_FI_DEV_FB_USED / FB_FREE 显存已用与可用容量,通常以 MiB 表示 显存带宽是否构成瓶颈
DCGM_FI_PROF_PCIE_RX_BYTES / TX_BYTES profiling 采样区间的 PCIe 吞吐率,标准语义为 bytes/s 流量全是输入数据,或传输已饱和
DCGM_FI_PROF_NVLINK_RX_BYTES / TX_BYTES 设备支持时的 NVLink 传输率 只凭字节数即可判断通信是关键路径
功耗、温度、时钟及限制原因 判断运行状态与潜在降频 功耗低就一定在等数据,或温度高就一定发生热降频

具体支持情况、类型、采样和聚合方式,以 GPU 架构、DCGM 版本、exporter 配置及实际指标说明为准。DCGM 的设备级时间窗口汇总,也不能与 profiler 的单 kernel occupancy 无条件等同。

为什么 GPU Utilization 高,仍可能没有充分利用 GPU?

如果设备一直有小规模 kernel 执行,GPU Utilization 可以很高,但同时参与工作的 SM 很少。SM Activity 与 Occupancy 提供了更细的观察维度。

SM Activity 同时包含空间和时间上的平均。例如在简化模型中,20% 的 SM 整段时间都有活跃 warp,与全部 SM 只有 20% 的时间有活跃 warp,都可能得到 0.2。单看这个数不能区分并行覆盖不足与间歇等待,需要结合时间线和任务阶段证据。等待内存的 warp 也可以被计为活跃。

反过来,较高的 Occupancy 只说明驻留了较多 warp;这些 warp 可能在等待显存或依赖。某些高效 kernel 需要较多寄存器或共享内存,会限制可驻留 warp 数,Occupancy 不高也可能有良好性能。

Occupancy 是解释性能的指标,不是必须最大化的目标。 不能仅凭低值就认定配置错误,也不能为了提高它引入寄存器溢出或其他代价。

第三层:GPU 空闲时间花在哪里?

训练任务可观察等待下一批数据、CPU 解码/增强、H2D(Host-to-Device)传输、前向/反向计算、通信和优化器更新等阶段。推理任务还要分开请求排队、调度 batching 和实际执行。

观察组合 可提出的假设 有区分力的验证
SM Activity 间歇降低,等待 batch 时间高 数据供应不足 合成数据、本地缓存和预处理对照
数据已就绪,GPU 时间线仍有明显空隙 CPU 提交开销、频繁同步、传输串行化 Profiler 对齐 CPU 调用、拷贝与 kernel
GPU Utilization 高但 SM 指标偏低 工作规模小、并行覆盖不足或 kernel 资源限制 对比 batch/形状,查看 kernel 分布及资源占用
SM 与 DRAM 活跃,吞吐仍低 可能受显存访问限制 分析实际带宽、缓存、访存和 kernel stall
部分卡忙、部分卡等待 worker 工作量不均、数据或节点差异 比较每个 rank 的阶段耗时与同步点

这些组合用于形成假设,不是固定诊断规则。网络流量高不等于网络饱和,PCIe 流量低也不等于传输没有延迟问题。

数据加载:用对照实验逐层排除

实验 主要排查对象
使用 GPU 上预先生成的同形状数据 尽量排除存储、CPU 准备与 H2D,观察计算侧上限
使用 CPU 上生成的同形状数据 保留 H2D,与上一实验对比传输路径
将远端数据放到本地 SSD 区分远端存储与网络影响
暂停昂贵的数据增强 判断 CPU 解码、变换的成本
调整 DataLoader worker 和预取深度 观察供应能力是否受并行度限制,以及是否引入 CPU/内存压力

比较时尽量固定输入形状、类型和计算路径;数据内容可能影响稀疏、动态分支或压缩行为,合成数据结果不能无条件外推。还要区分冷热缓存。

CPU 总利用率不高,也可能存在单线程瓶颈或 cgroup CPU throttling。除了 CPU 使用率,还要看各核、限流、I/O 等待、存储延迟和加载阶段耗时。

可能的优化包括数据格式与小文件组织、缓存、预取、合理增加 worker、优化解码、pinned memory 与异步拷贝。Worker 越多不一定越快;pinned memory 和预取会占用主机内存。异步 API 也不保证实际重叠,要确认内存、stream 与硬件条件,并通过时间线验证。

CPU 提交与同步:数据不缺,GPU 也可能在等

常见原因包括 Python 循环提交大量小算子、频繁取回 GPU 标量、重复搬运张量,以及不必要的同步。例如 .item() 可能让 CPU 等待 GPU 结果,反复使用会破坏流水线。

GPU 操作通常异步执行,Python 调用返回不等于 GPU 工作完成。计时使用合适的 CUDA events、同步边界或 profiler,避免只测到提交时间;也不要在每个算子后插入同步,把真实并行行为改成串行。

第四层:GPU 忙碌时,区分计算、带宽与通信

先用 PyTorch Profiler 或 Nsight Systems 找到耗时阶段,再按需要用 Nsight Compute 深入重点 kernel。Profiling 有开销,选择代表性时间窗口,并记录是否改变运行行为。

瓶颈方向 深入检查 可能的优化与约束
计算密集 主要 kernel 的执行时间、计算管线、数据类型与矩阵形状 更合适的算子、混合精度或 Tensor Core 路径,验证数值与质量
显存访问 DRAM 活跃度、实际带宽、缓存命中、访问模式、算术强度 减少中间张量、改善布局、算子融合
小 kernel 开销 kernel 数量、启动开销、CPU/GPU 间空隙 合批、融合或适用时使用 CUDA Graphs,验证动态形状约束
多卡通信 AllReduce/AllGather 等耗时、拓扑、NVLink/PCIe/RDMA 路径 调整通信与计算重叠、数据布局或并行策略
慢 worker 每个 rank 的数据加载、计算和到达同步点时间 排查不均衡输入、慢节点或负载干扰
功率或热约束 时钟下降是否与限制原因和性能退化同时出现 检查功率配置、散热和运行环境

单卡正常、多卡扩展效果差时,重点排查通信、同步和工作量分配。通信 kernel 也可能让 GPU 看起来很忙,所以高 GPU/SM Activity 不代表都在做有效模型计算。

多卡平均值容易掩盖一个慢 rank。应保留每卡、每节点和任务身份,结合整体 step time 分析。通信字节数要与传输耗时、链路能力及拓扑一起看。

第五层:显存不足先分类型,再定位占用来源

现象 优先排查
Pod 显示 OOMKilled 容器或节点的主机 RAM 压力,结合终止状态与系统日志判断
框架报 CUDA out of memory GPU 显存分配失败

增加 Kubernetes 的普通 memory limit 不会增加 GPU 显存。主机内存与 GPU 显存可能同时受压,例如数据预取或 offload 都会增加主机内存需求。

训练工作集通常包括模型参数、梯度、优化器状态、激活值、临时 workspace 和框架缓存;推理还可能有显著的 KV cache,与并发、上下文长度等有关。

失败时机 优先检查
加载模型时 模型尺寸、重复加载、其他进程或共享设备占用
第一轮计算时 激活值、workspace、编译或初始化开销
运行一段时间后 张量或计算图长期持有、缓存增长
特定 batch 偶发失败 输入长度、分辨率或动态 shape 峰值
并发提高后失败 同时在途请求、KV cache、batch 和临时工作集

结合 DCGM framebuffer 历史曲线与框架分配器统计。PyTorch 的 allocated 表示活跃分配,reserved 表示缓存分配器保留的内存;设备总占用还包含 CUDA context、通信库及其他分配。不同 allocator 后端的统计细节也可能不同。

reserved 明显大于 allocated 不足以单独证明碎片;需要内存统计或快照。empty_cache() 不能释放仍被活跃张量占用的显存,也不能消除本来就过大的工作集。

可选择减小 micro-batch、限制输入或并发、混合精度、梯度累积、activation checkpointing、模型/优化器分片或修复泄漏。每种方案都有代价:checkpointing 以更多计算换显存,offload 可能增加 RAM 和 PCIe 压力,梯度累积也不保证所有模型行为与大 batch 完全相同。

DCGM + Prometheus + Grafana 如何形成有效证据?

面板组织

建议在相同时间窗口中展示:

  1. 任务身份、节点、设备 UUID/MIG 实例、运行阶段与发布/启动时间。
  2. 每卡 SM Activity、SM Occupancy、GPU Utilization,以及支持的 DRAM/Tensor 管线指标。
  3. 显存、PCIe/NVLink、功耗、温度与时钟。
  4. Pod CPU、CPU throttling、主机内存、网络及数据存储指标。
  5. 应用吞吐、step time、数据等待时间和通信时间。

DCGM 是设备侧观测,Pod 标签通常来自资源映射。共享 GPU、MIG、时间切片或 MPS 场景下,必须确认指标是物理设备级、实例级还是任务级。附带 Pod 标签不保证它就是该 Pod 独占产生的负载,不应重复累加关联到多个 Pod 的整卡指标。

查询示例:先确认类型和单位

以下示例假设实际 exporter 具备 Hostname、exported_namespace、exported_pod 标签,Grafana 已定义对应变量。标签名称和多集群作用域应按实际采集链路调整;这些示例未连接实际集群执行。

# 0–1 的 gauge:直接画曲线,不使用 rate()
DCGM_FI_PROF_SM_OCCUPANCY{
  Hostname=~"${hostname:regex}",
  exported_namespace=~"${namespace:regex}",
  exported_pod=~"${pod:regex}"
}

GPU Utilization 通常是 0–100,不能与 0–1 的 SM 指标共用同一比例配置却不做转换。Grafana 的 percentunit 对应 0–1;若配置 80% 阈值,应写 0.8。阈值本身也应结合任务基线,不能把高值或低值统一设为故障。

# 标准 DCGM profiling 的 PCIe 字段已是 bytes/s,不再求 rate()
DCGM_FI_PROF_PCIE_RX_BYTES{
  Hostname=~"${hostname:regex}",
  exported_namespace=~"${namespace:regex}",
  exported_pod=~"${pod:regex}"
}

对比真正的累计字节 counter:

# 容器网络累计字节需要先转成每秒速率
rate(container_network_receive_bytes_total{
  namespace=~"${namespace:regex}",
  pod=~"${pod:regex}"
}[$__rate_interval])

先核对 exporter 的 HELP/TYPE、采集定义和版本,再决定是否使用 rate()。即使 TYPE 配置为 counter,也要确认其数值是否真的是累计值;不能只凭名称含 BYTES 或 TOTAL 就机械套用。

PCIe 和网络速率应使用 bytes/sec 单位。Framebuffer 字段若以 MiB 输出,可选择正确的 MiB 单位,或乘 1024 * 1024 转成 bytes 后显示,避免与十进制 MB 混用。

聚合、标签与采样的陷阱

一个完整的诊断推演

以下为教学案例,不是实际项目结果。

现象:训练任务已经获得 4 张 GPU,GPU Utilization 很高,但 samples/s 明显低于相同模型的基线。

  1. 确认比较使用相同输入、精度、batch 和预热阶段,并检查设备型号与时钟。
  2. 对齐每卡 SM Activity、Occupancy、DRAM、PCIe 和 step time,发现 SM 指标偏低。
  3. 不直接认定数据加载慢;用 GPU 常驻合成输入对照,吞吐仍然偏低,数据链路不太可能是主要原因。
  4. 查看时间线,发现大量小 kernel 和 CPU 同步点;继续定位代码中的细粒度循环和标量取回。
  5. 尝试合并运算、减少同步,比较端到端 step time、结果正确性和显存峰值。
  6. 再次检查多卡扩展效率,确认新的主要瓶颈是否已经转移到通信或其他阶段。

如果第 3 步显著加速,则改为逐层加回 H2D、CPU 预处理和真实存储,找出性能下降出现在哪一步。实验结论决定后续方向,而不是按照某个指标直接套修复措施。

常见误区

面试回答示例

我会先区分资源尚未分配和已分配后的执行效率问题。排队时看调度事件、队列、GPU 资源映射、节点约束和碎片。运行后不会只依赖 nvidia-smi 的 GPU Utilization,而是通过 DCGM 对比每卡 SM Activity、SM Occupancy、显存、DRAM 和传输指标,并关联 CPU、网络及任务阶段耗时。Occupancy 表示驻留 warp 程度,不等于执行效率,所以还会用合成数据、本地数据和单卡对照实验,以及 profiler 时间线验证假设。显存不足先区分主机 OOM 和 CUDA OOM,再按失败阶段检查参数、激活、优化器、KV cache 和缓存。优化结果以相同工作负载下的吞吐、延迟、资源峰值与正确性验证。

如果实际做过 DCGM/Grafana dashboard,可以补充具体负责的指标、查询、关联方式和诊断案例。监控建设、集群调度与 kernel 优化是不同职责,应按真实经历说明。

延伸问题

参考资料