结合 DCGM、Prometheus、Grafana 和 profiler,区分 GPU 调度、数据加载、计算、通信与显存瓶颈。
GPU 任务排队、利用率低或显存不足时,如何区分调度、数据加载和计算瓶颈?DCGM 中的 SM Activity、SM Occupancy 等指标应该怎样解释和使用?
先判断任务是否已经获得资源,再看 GPU 在运行期间等待什么,最后分析计算效率与内存约束。
提交任务 → 排队与资源分配 → 容器启动和模型加载
↓
读取数据 → CPU 预处理 → CPU/GPU 传输 → GPU 计算 → 输出
↕
多卡通信与同步
流水线中的步骤可能重叠。目标是找到影响端到端耗时的关键路径,而不是把每个资源指标都提高到 100%。
nvidia-smi 适合快速检查设备、进程、显存和错误线索,但通用 GPU Utilization 不能解释 SM 是否充分参与计算。性能分析应结合 DCGM profiling 指标、应用阶段耗时和 profiler 时间线。
开始排查前记录任务类型、GPU 型号和数量、驱动与框架版本、模型版本、输入形状、精度、batch、并发和数据来源。区分冷启动、预热与稳定运行阶段。
| 任务 | 主要结果指标 |
|---|---|
| 训练 | step time、samples/s 或 tokens/s、多卡扩展效率,以及收敛和结果质量 |
| 在线推理 | 吞吐、排队时间、P95/P99 延迟;生成式任务还可看首 token 延迟和逐 token 延迟 |
| 批量处理 | 作业完成时间、处理量、失败重试与单位任务资源成本 |
GPU 利用率是解释结果的线索,不能取代这些指标。例如增加推理 batch 可能提高吞吐,却让尾延迟超过目标;降低精度也需要验证结果质量。
任务未开始执行时,先区分 Kubernetes 调度、任务框架队列和启动准备。
kubectl get pods -n demo -o wide
kubectl describe pod <pod-name> -n demo
kubectl describe node <gpu-node>
| 状态 | 调查方向 |
|---|---|
| Pod 尚未分配 Node | GPU/CPU/内存请求、节点标签、亲和性、污点、PVC 与调度事件 |
| Pod 已运行,框架任务仍排队 | Ray、Slurm 或其他调度层的资源映射、配额、优先级、并发限制 |
| 已获得设备,但尚无稳定计算 | 镜像拉取、模型下载、权重加载、编译和预热 |
重点检查:
例如集群空闲 8 张 GPU,但分布在 4 台各有 2 张空闲卡的节点上,一个需要 4 张 GPU 的 Pod 仍然无法调度,因为单个 Pod 只能位于一个节点。
标准整卡分配不会因为已分配 GPU 的瞬时利用率低,就自动将它交给新任务。GPU 共享、MIG、时间切片或 MPS 需要额外配置,各自的隔离、资源记账和性能语义不同。
因此,排队阶段首先分析资源分配与调度条件。运行时的 SM 指标无法单独解释尚未获得资源的任务为什么排队。
SM 是 Streaming Multiprocessor,可理解为 GPU 执行线程工作的计算单元。Warp 是 NVIDIA GPU 上组织线程执行的基本单位,通常由 32 个线程组成。Warp 驻留在 SM 上,不代表它每个周期都能执行指令,也可能在等待数据或依赖。
| 指标 | 解释 | 不能据此直接判断 |
|---|---|---|
DCGM_FI_DEV_GPU_UTIL |
采样窗口内有 kernel 执行的时间比例,常见范围 0–100 | 算力是否充分发挥、所有 SM 是否忙碌 |
DCGM_FI_PROF_SM_ACTIVE |
SM 有活跃 warp 的周期比例,对设备内 SM 和采样时间形成汇总,常见范围 0–1 | 每个周期都有效发射指令、达到峰值 FLOPS |
DCGM_FI_PROF_SM_OCCUPANCY |
驻留 warp 数相对理论上限的比例,按指标定义进行采样汇总,常见范围 0–1 | Occupancy 越高性能一定越好 |
DCGM_FI_PROF_DRAM_ACTIVE |
显存接口活跃程度 | 已占用多少显存,或已经准确达到标称带宽的某个百分比 |
DCGM_FI_PROF_PIPE_TENSOR_ACTIVE |
Tensor 管线活跃程度(设备支持时) | 不使用 Tensor 运算的任务一定低效 |
DCGM_FI_DEV_FB_USED / FB_FREE |
显存已用与可用容量,通常以 MiB 表示 | 显存带宽是否构成瓶颈 |
DCGM_FI_PROF_PCIE_RX_BYTES / TX_BYTES |
profiling 采样区间的 PCIe 吞吐率,标准语义为 bytes/s | 流量全是输入数据,或传输已饱和 |
DCGM_FI_PROF_NVLINK_RX_BYTES / TX_BYTES |
设备支持时的 NVLink 传输率 | 只凭字节数即可判断通信是关键路径 |
| 功耗、温度、时钟及限制原因 | 判断运行状态与潜在降频 | 功耗低就一定在等数据,或温度高就一定发生热降频 |
具体支持情况、类型、采样和聚合方式,以 GPU 架构、DCGM 版本、exporter 配置及实际指标说明为准。DCGM 的设备级时间窗口汇总,也不能与 profiler 的单 kernel occupancy 无条件等同。
如果设备一直有小规模 kernel 执行,GPU Utilization 可以很高,但同时参与工作的 SM 很少。SM Activity 与 Occupancy 提供了更细的观察维度。
SM Activity 同时包含空间和时间上的平均。例如在简化模型中,20% 的 SM 整段时间都有活跃 warp,与全部 SM 只有 20% 的时间有活跃 warp,都可能得到 0.2。单看这个数不能区分并行覆盖不足与间歇等待,需要结合时间线和任务阶段证据。等待内存的 warp 也可以被计为活跃。
反过来,较高的 Occupancy 只说明驻留了较多 warp;这些 warp 可能在等待显存或依赖。某些高效 kernel 需要较多寄存器或共享内存,会限制可驻留 warp 数,Occupancy 不高也可能有良好性能。
Occupancy 是解释性能的指标,不是必须最大化的目标。 不能仅凭低值就认定配置错误,也不能为了提高它引入寄存器溢出或其他代价。
训练任务可观察等待下一批数据、CPU 解码/增强、H2D(Host-to-Device)传输、前向/反向计算、通信和优化器更新等阶段。推理任务还要分开请求排队、调度 batching 和实际执行。
| 观察组合 | 可提出的假设 | 有区分力的验证 |
|---|---|---|
| SM Activity 间歇降低,等待 batch 时间高 | 数据供应不足 | 合成数据、本地缓存和预处理对照 |
| 数据已就绪,GPU 时间线仍有明显空隙 | CPU 提交开销、频繁同步、传输串行化 | Profiler 对齐 CPU 调用、拷贝与 kernel |
| GPU Utilization 高但 SM 指标偏低 | 工作规模小、并行覆盖不足或 kernel 资源限制 | 对比 batch/形状,查看 kernel 分布及资源占用 |
| SM 与 DRAM 活跃,吞吐仍低 | 可能受显存访问限制 | 分析实际带宽、缓存、访存和 kernel stall |
| 部分卡忙、部分卡等待 | worker 工作量不均、数据或节点差异 | 比较每个 rank 的阶段耗时与同步点 |
这些组合用于形成假设,不是固定诊断规则。网络流量高不等于网络饱和,PCIe 流量低也不等于传输没有延迟问题。
| 实验 | 主要排查对象 |
|---|---|
| 使用 GPU 上预先生成的同形状数据 | 尽量排除存储、CPU 准备与 H2D,观察计算侧上限 |
| 使用 CPU 上生成的同形状数据 | 保留 H2D,与上一实验对比传输路径 |
| 将远端数据放到本地 SSD | 区分远端存储与网络影响 |
| 暂停昂贵的数据增强 | 判断 CPU 解码、变换的成本 |
| 调整 DataLoader worker 和预取深度 | 观察供应能力是否受并行度限制,以及是否引入 CPU/内存压力 |
比较时尽量固定输入形状、类型和计算路径;数据内容可能影响稀疏、动态分支或压缩行为,合成数据结果不能无条件外推。还要区分冷热缓存。
CPU 总利用率不高,也可能存在单线程瓶颈或 cgroup CPU throttling。除了 CPU 使用率,还要看各核、限流、I/O 等待、存储延迟和加载阶段耗时。
可能的优化包括数据格式与小文件组织、缓存、预取、合理增加 worker、优化解码、pinned memory 与异步拷贝。Worker 越多不一定越快;pinned memory 和预取会占用主机内存。异步 API 也不保证实际重叠,要确认内存、stream 与硬件条件,并通过时间线验证。
常见原因包括 Python 循环提交大量小算子、频繁取回 GPU 标量、重复搬运张量,以及不必要的同步。例如 .item() 可能让 CPU 等待 GPU 结果,反复使用会破坏流水线。
GPU 操作通常异步执行,Python 调用返回不等于 GPU 工作完成。计时使用合适的 CUDA events、同步边界或 profiler,避免只测到提交时间;也不要在每个算子后插入同步,把真实并行行为改成串行。
先用 PyTorch Profiler 或 Nsight Systems 找到耗时阶段,再按需要用 Nsight Compute 深入重点 kernel。Profiling 有开销,选择代表性时间窗口,并记录是否改变运行行为。
| 瓶颈方向 | 深入检查 | 可能的优化与约束 |
|---|---|---|
| 计算密集 | 主要 kernel 的执行时间、计算管线、数据类型与矩阵形状 | 更合适的算子、混合精度或 Tensor Core 路径,验证数值与质量 |
| 显存访问 | DRAM 活跃度、实际带宽、缓存命中、访问模式、算术强度 | 减少中间张量、改善布局、算子融合 |
| 小 kernel 开销 | kernel 数量、启动开销、CPU/GPU 间空隙 | 合批、融合或适用时使用 CUDA Graphs,验证动态形状约束 |
| 多卡通信 | AllReduce/AllGather 等耗时、拓扑、NVLink/PCIe/RDMA 路径 | 调整通信与计算重叠、数据布局或并行策略 |
| 慢 worker | 每个 rank 的数据加载、计算和到达同步点时间 | 排查不均衡输入、慢节点或负载干扰 |
| 功率或热约束 | 时钟下降是否与限制原因和性能退化同时出现 | 检查功率配置、散热和运行环境 |
单卡正常、多卡扩展效果差时,重点排查通信、同步和工作量分配。通信 kernel 也可能让 GPU 看起来很忙,所以高 GPU/SM Activity 不代表都在做有效模型计算。
多卡平均值容易掩盖一个慢 rank。应保留每卡、每节点和任务身份,结合整体 step time 分析。通信字节数要与传输耗时、链路能力及拓扑一起看。
| 现象 | 优先排查 |
|---|---|
Pod 显示 OOMKilled |
容器或节点的主机 RAM 压力,结合终止状态与系统日志判断 |
框架报 CUDA out of memory |
GPU 显存分配失败 |
增加 Kubernetes 的普通 memory limit 不会增加 GPU 显存。主机内存与 GPU 显存可能同时受压,例如数据预取或 offload 都会增加主机内存需求。
训练工作集通常包括模型参数、梯度、优化器状态、激活值、临时 workspace 和框架缓存;推理还可能有显著的 KV cache,与并发、上下文长度等有关。
| 失败时机 | 优先检查 |
|---|---|
| 加载模型时 | 模型尺寸、重复加载、其他进程或共享设备占用 |
| 第一轮计算时 | 激活值、workspace、编译或初始化开销 |
| 运行一段时间后 | 张量或计算图长期持有、缓存增长 |
| 特定 batch 偶发失败 | 输入长度、分辨率或动态 shape 峰值 |
| 并发提高后失败 | 同时在途请求、KV cache、batch 和临时工作集 |
结合 DCGM framebuffer 历史曲线与框架分配器统计。PyTorch 的 allocated 表示活跃分配,reserved 表示缓存分配器保留的内存;设备总占用还包含 CUDA context、通信库及其他分配。不同 allocator 后端的统计细节也可能不同。
reserved 明显大于 allocated 不足以单独证明碎片;需要内存统计或快照。empty_cache() 不能释放仍被活跃张量占用的显存,也不能消除本来就过大的工作集。
可选择减小 micro-batch、限制输入或并发、混合精度、梯度累积、activation checkpointing、模型/优化器分片或修复泄漏。每种方案都有代价:checkpointing 以更多计算换显存,offload 可能增加 RAM 和 PCIe 压力,梯度累积也不保证所有模型行为与大 batch 完全相同。
建议在相同时间窗口中展示:
DCGM 是设备侧观测,Pod 标签通常来自资源映射。共享 GPU、MIG、时间切片或 MPS 场景下,必须确认指标是物理设备级、实例级还是任务级。附带 Pod 标签不保证它就是该 Pod 独占产生的负载,不应重复累加关联到多个 Pod 的整卡指标。
以下示例假设实际 exporter 具备 Hostname、exported_namespace、exported_pod 标签,Grafana 已定义对应变量。标签名称和多集群作用域应按实际采集链路调整;这些示例未连接实际集群执行。
# 0–1 的 gauge:直接画曲线,不使用 rate()
DCGM_FI_PROF_SM_OCCUPANCY{
Hostname=~"${hostname:regex}",
exported_namespace=~"${namespace:regex}",
exported_pod=~"${pod:regex}"
}
GPU Utilization 通常是 0–100,不能与 0–1 的 SM 指标共用同一比例配置却不做转换。Grafana 的 percentunit 对应 0–1;若配置 80% 阈值,应写 0.8。阈值本身也应结合任务基线,不能把高值或低值统一设为故障。
# 标准 DCGM profiling 的 PCIe 字段已是 bytes/s,不再求 rate()
DCGM_FI_PROF_PCIE_RX_BYTES{
Hostname=~"${hostname:regex}",
exported_namespace=~"${namespace:regex}",
exported_pod=~"${pod:regex}"
}
对比真正的累计字节 counter:
# 容器网络累计字节需要先转成每秒速率
rate(container_network_receive_bytes_total{
namespace=~"${namespace:regex}",
pod=~"${pod:regex}"
}[$__rate_interval])
先核对 exporter 的 HELP/TYPE、采集定义和版本,再决定是否使用 rate()。即使 TYPE 配置为 counter,也要确认其数值是否真的是累计值;不能只凭名称含 BYTES 或 TOTAL 就机械套用。
PCIe 和网络速率应使用 bytes/sec 单位。Framebuffer 字段若以 MiB 输出,可选择正确的 MiB 单位,或乘 1024 * 1024 转成 bytes 后显示,避免与十进制 MB 混用。
以下为教学案例,不是实际项目结果。
现象:训练任务已经获得 4 张 GPU,GPU Utilization 很高,但 samples/s 明显低于相同模型的基线。
如果第 3 步显著加速,则改为逐层加回 H2D、CPU 预处理和真实存储,找出性能下降出现在哪一步。实验结论决定后续方向,而不是按照某个指标直接套修复措施。
rate()。empty_cache() 当成通用修复。我会先区分资源尚未分配和已分配后的执行效率问题。排队时看调度事件、队列、GPU 资源映射、节点约束和碎片。运行后不会只依赖 nvidia-smi 的 GPU Utilization,而是通过 DCGM 对比每卡 SM Activity、SM Occupancy、显存、DRAM 和传输指标,并关联 CPU、网络及任务阶段耗时。Occupancy 表示驻留 warp 程度,不等于执行效率,所以还会用合成数据、本地数据和单卡对照实验,以及 profiler 时间线验证假设。显存不足先区分主机 OOM 和 CUDA OOM,再按失败阶段检查参数、激活、优化器、KV cache 和缓存。优化结果以相同工作负载下的吞吐、延迟、资源峰值与正确性验证。
如果实际做过 DCGM/Grafana dashboard,可以补充具体负责的指标、查询、关联方式和诊断案例。监控建设、集群调度与 kernel 优化是不同职责,应按真实经历说明。