Kubernetes 常见故障如何收集证据和缩小范围?

分层排查 Pending、CrashLoopBackOff、OOMKilled、PVC 挂载及 DNS/TLS 故障,理解证据、命令和常见误判。

kuberneteskubernetestroubleshootinglinuxstoragednstls更新 2026-11-17

题目

Kubernetes 中遇到 Pending、CrashLoopBackOff、OOMKilled、PVC 挂载失败或 DNS/TLS 故障,分别如何收集证据和缩小范围?

核心思路与基础概念

先判断故障发生在哪一层,再用证据排除原因。排查能力主要体现在定位过程,而不只是记住命令。

概念 含义
Pod Kubernetes 调度和运行应用的基本单位,包含一个或多个容器
Node 运行 Pod 的机器
Namespace 对资源进行逻辑分组的作用域,本身不自动保证网络隔离
PVC 应用对持久化存储的申请
Service 为一组后端 Pod 提供稳定的服务发现和访问入口

应用从创建到被访问,大致经过以下阶段;实际的存储、网络准备等步骤可能交错执行:

创建 Pod → 分配 Node → 准备存储和网络 → 启动容器 → 应用就绪 → 接收请求

先确认影响范围:一个 Pod、一台 Node、一个服务,还是整个集群?何时开始?是否与最近发布、配置变更或流量变化有关?对比正常实例和故障实例的差异。

通用证据与检查命令

下面假设 namespace 是 demo,Pod 名称是 api-xxx,容器名称是 api;实际使用时替换为对应资源名称。

# 查看状态、重启次数、IP 和所在节点
kubectl get pods -n demo -o wide

# 查看配置、容器状态、Conditions 和近期事件
kubectl describe pod api-xxx -n demo

# 查看当前这次运行的容器日志
kubectl logs api-xxx -n demo -c api --tail=200 --timestamps

# 查看上一次退出的容器日志
kubectl logs api-xxx -n demo -c api --previous --tail=200 --timestamps

# 按时间查看 namespace 中的事件
kubectl get events -n demo --sort-by=.metadata.creationTimestamp

-c 用于选择容器,只有一个容器时通常可以省略。存在 init container 或 sidecar 时,也要检查它们的状态和日志。

证据 主要回答的问题
Pod 状态与 Conditions 卡在哪个阶段?
Events 调度器、节点或存储组件为什么执行失败?
当前容器日志 本次启动后发生了什么?
上一次容器日志 上一次为什么退出?
历史资源指标与系统日志 是否与资源压力、负载或节点异常有关?

--previous 通常只能读取前一次容器实例的日志,不是完整历史。Events 也有保留期限;持续排障需要集中日志和监控。先记录 Pod UID、节点、时间、镜像版本等现场信息,再考虑删除或重启,避免丢失证据。

Pending:先看有没有分配到 Node

Pending 表示 Pod 尚未完成运行准备。可能还没调度,也可能已经调度但卡在镜像拉取、卷挂载等步骤,不能直接认定为机器资源不够。

kubectl get pod api-xxx -n demo -o wide
kubectl describe pod api-xxx -n demo

如果没有分配 Node,或 PodScheduled 为 False,重点查看 FailedScheduling 等事件:

事件或现象 调查方向
Insufficient cpu / memory 节点剩余可分配资源无法满足 requests
untolerated taint 节点污点与 Pod 的 tolerations 不匹配
不满足 node selector / affinity 没有符合标签或亲和性要求的节点
unbound ... PersistentVolumeClaims PVC 绑定或供给条件未满足
节点不可调度或不可用 节点被 cordon、NotReady,或受其他调度限制影响

调度主要看资源 requests 和节点可分配资源,不是当前 CPU 使用率。 节点实际 CPU 使用率只有 10%,但可分配 CPU 已被其他 Pod 的 requests 占满,新 Pod 仍可能无法调度。

kubectl describe node <node-name>
kubectl get pvc -n demo

已经分配 Node 时,沿 Events 查 FailedMount、ErrImagePull、ImagePullBackOff 或 Pod sandbox 创建失败等原因。kubectl get pods 的 STATUS 列可能展示这些具体原因,而非底层 Pod phase 的 Pending。

CrashLoopBackOff:程序反复退出,重启被延迟

CrashLoopBackOff 是反复失败后的重启退避状态,不是根因:

启动 → 退出 → 重启 → 再退出 → 延长下一次重启的等待时间

最有价值的证据通常是上一次容器日志,以及 describe 中的 Last State:

kubectl logs api-xxx -n demo -c api --previous --timestamps
kubectl describe pod api-xxx -n demo

重点查看终止原因、退出码、启动与结束时间,以及探针失败和容器被终止的事件。

常见原因包括:缺少环境变量、配置文件错误、启动命令不适用于长期运行、文件权限不足、依赖连接失败、应用异常、内存超限,或探针配置不合理。

区分三种探针

探针 失败时的主要作用
readiness 将实例标记为未就绪,通常使其不再接收 Service 流量;不会因此重启容器
liveness 达到失败阈值后触发容器重启
startup 成功前暂不执行 liveness/readiness;持续失败达到阈值也会触发重启

例如应用启动需要 90 秒,但 liveness 几秒后就开始检查并迅速达到失败阈值,应用可能永远启动不起来。需要根据实际启动行为设计 startup probe 和探针参数,而不只是把所有超时都放大。

修复前先判断是应用自己退出,还是被探针或系统终止。删除 Pod 可能暂时改变现象,但不能证明根因已经消失。

OOMKilled:区分容器限制与节点内存压力

OOM 是 Out Of Memory。排查时需要区分容器达到内存约束与节点整体内存不足,结合终止状态、历史指标及节点侧日志判断。

kubectl describe pod api-xxx -n demo
kubectl top pod api-xxx -n demo --containers
kubectl top node
kubectl describe node <node-name>

kubectl top 需要集群提供相应指标服务。它展示近期指标,不能替代故障前后的历史曲线。

配置 含义
memory request 用于调度和资源保障判断,不是容器最大可用内存
memory limit 内存使用约束,达到约束后可能触发 OOM
内存变化特征 调查方向
长时间持续增长 内存泄漏、缓存无上限
某个请求或批任务时突然暴涨 输入过大、批量加载、并发过高
启动阶段暴涨 加载模型、索引或大型数据
同一节点多个应用同时异常 节点内存压力、系统进程、资源超配

需要区分内核 OOM 与 kubelet 因节点压力驱逐 Pod:后者可能表现为 Evicted。节点的当前 Conditions 也未必能反映已经过去的压力峰值,需要结合事件和历史记录。

两个常见误判:

解决方案可能是限制并发、分批处理、调整缓存、修复泄漏,或在容量允许时增加内存。增加 limit 前,应确认节点有足够容量,避免将容器问题扩大为节点问题。

PVC 挂载失败:区分绑定、挂载和应用权限

概念 含义
PVC 应用提出的存储申请
PV Kubernetes 中表示具体存储的资源
StorageClass 动态创建存储时使用的类别与规则
CSI 驱动 Kubernetes 与实际存储系统之间的接口实现
kubectl get pvc -n demo
kubectl describe pvc <pvc-name> -n demo
kubectl describe pod api-xxx -n demo
kubectl get storageclass

第一阶段:PVC 尚未绑定

检查是否有匹配的 PV、StorageClass 是否正确、动态供给组件是否正常,以及容量、配额、访问模式等条件是否满足。

WaitForFirstConsumer 模式下,存储可能要等待消费者 Pod 的调度需求明确后才绑定,避免创建在不合适的可用区。因此 PVC 暂时 Pending 不一定是故障,要结合 Pod 调度状态判断。

第二阶段:已绑定,但无法连接或挂载

Pod Events 可能出现 FailedAttachVolume、FailedMount 或 Multi-Attach error。

检查卷与节点的可用区是否匹配、卷是否仍连接在旧节点、CSI controller 和节点插件是否正常、存储网络是否可达,以及文件系统和挂载参数是否正确。部分存储类型没有独立的 attach 步骤,排查应遵循实际驱动流程。

ReadWriteOnce 通常限制单节点读写挂载,不等于只能一个 Pod 使用;同节点多个 Pod 是否适用还需要结合具体驱动和应用语义判断。不要把卷强制从旧节点断开当作常规操作,要先确认旧节点和写入方的状态。

第三阶段:挂载成功,但应用不能读写

如果应用日志出现 Permission denied,检查目录权限、UID/GID、只读挂载和安全上下文等。此时不应继续把重点放在 PVC 供给上。

PVC 的 Bound 状态只证明申请已绑定到存储,不保证 Pod 已挂载成功,也不保证应用有权限读写。 删除 PVC 可能触发持久数据删除,不能将它作为无差别的重试手段。

DNS/TLS 故障:沿访问链路逐层定位

解析域名 → 建立 TCP 连接 → TLS 握手 → HTTP 请求 → 应用处理
现象 优先调查
Could not resolve host、NXDOMAIN DNS 配置、记录和解析路径
连接超时 路由、防火墙、NetworkPolicy、服务端可达性
Connection refused 地址、转发配置或目标端口监听状态
证书过期、未知 CA、域名不匹配 TLS 证书与信任配置
HTTP 401、403、500 已到达某个 HTTP 处理组件,继续查认证、授权、网关或应用

DNS:在故障网络环境里对比测试

下面的命令应在故障容器或合适的调试环境中执行:

cat /etc/resolv.conf
nslookup kubernetes.default.svc.cluster.local
nslookup api.demo.svc.cluster.local

示例假设集群域为 cluster.local,实际集群可能不同。镜像没有工具时,可在权限允许的情况下使用临时调试容器;如果新建调试 Pod,需要考虑它的 namespace、节点、标签及网络策略是否与故障 Pod 一致。

对比内部域名与外部域名、同 namespace 的其他 Pod,以及不同节点上的 Pod:

必要时检查 CoreDNS 实例、日志和指标,以及 DNS 的 UDP/TCP 流量是否被阻断。nslookup 成功也不保证应用使用的解析器和缓存行为完全相同,还要结合应用日志验证。

解析成功但服务仍不可访问时,检查 Service 和后端:

kubectl get service api -n demo
kubectl get endpointslices -n demo \
  -l kubernetes.io/service-name=api

进一步查看 EndpointSlice 中的地址、端口和 ready 条件。没有可用后端可能是 selector 不匹配或 Pod 未就绪,不能继续一律归为 DNS 故障。

TLS:确认实际收到的证书

curl -v https://api.example.com/health

openssl s_client \
  -connect api.example.com:443 \
  -servername api.example.com \
  -showcerts </dev/null

重点检查证书有效期与系统时间、SAN 域名匹配、证书链完整性、客户端信任的 CA、是否启用 mTLS,以及 TLS 实际在哪一层终止。

-servername 用于发送 SNI,让服务器选择对应域名的证书。s_client 适合查看握手和证书详情,但默认不能把握手成功直接等同于严格校验通过;需要检查验证结果,并按目标配置 -verify_hostname、-verify_return_error 和相应 CA。

Ingress 或网关可能仍在提供旧证书,所以只看 Secret 中的文件不够,应检查请求实际到达的入口和实际收到的证书。如果启用 mTLS,还需检查客户端证书、私钥和服务端信任配置。

想绕开 DNS、固定目标 IP,同时保留域名和 SNI,可用:

curl -v --resolve api.example.com:443:10.0.0.10 \
  https://api.example.com/health

地址是示例。若环境使用 HTTP 代理,还要确认请求是否通过代理,避免误判测试路径。curl -k 可辅助判断证书校验问题,但关闭验证不能作为正式修复方案。

常见误区

面试回答示例

我会先确认影响范围和最近变更,再看 Pod 状态、Conditions、Events、当前及上一次容器日志,判断故障阶段。Pending 先区分有没有调度到节点;CrashLoopBackOff 查上一次退出原因和探针;OOMKilled 区分容器限制与节点内存压力,并结合历史指标;PVC 问题区分绑定、连接挂载和应用权限三个阶段;访问故障按 DNS、TCP、TLS、HTTP 逐层验证。先保留证据,再做最小范围的止损或修复,最后验证恢复并定位根因。

Kubernetes 实操经验有限时,可先如实说明范围,再解释 Linux、进程、内存、存储和网络排查经验如何应用到这些层次。

延伸问题