---
title: Kubernetes 常见故障如何收集证据和缩小范围？
description: 分层排查 Pending、CrashLoopBackOff、OOMKilled、PVC 挂载及 DNS/TLS 故障，理解证据、命令和常见误判。
topic: kubernetes
tags: [kubernetes, troubleshooting, linux, storage, dns, tls]
updated: "2026-11-17"
---

# Kubernetes 常见故障如何收集证据和缩小范围？

[返回题库](../index.md)

## 题目

Kubernetes 中遇到 Pending、CrashLoopBackOff、OOMKilled、PVC 挂载失败或 DNS/TLS 故障，分别如何收集证据和缩小范围？

## 核心思路与基础概念

先判断故障发生在哪一层，再用证据排除原因。排查能力主要体现在定位过程，而不只是记住命令。

| 概念 | 含义 |
| --- | --- |
| Pod | Kubernetes 调度和运行应用的基本单位，包含一个或多个容器 |
| Node | 运行 Pod 的机器 |
| Namespace | 对资源进行逻辑分组的作用域，本身不自动保证网络隔离 |
| PVC | 应用对持久化存储的申请 |
| Service | 为一组后端 Pod 提供稳定的服务发现和访问入口 |

应用从创建到被访问，大致经过以下阶段；实际的存储、网络准备等步骤可能交错执行：

```text
创建 Pod → 分配 Node → 准备存储和网络 → 启动容器 → 应用就绪 → 接收请求
```

先确认影响范围：一个 Pod、一台 Node、一个服务，还是整个集群？何时开始？是否与最近发布、配置变更或流量变化有关？对比正常实例和故障实例的差异。

## 通用证据与检查命令

下面假设 namespace 是 `demo`，Pod 名称是 `api-xxx`，容器名称是 `api`；实际使用时替换为对应资源名称。

```bash
# 查看状态、重启次数、IP 和所在节点
kubectl get pods -n demo -o wide

# 查看配置、容器状态、Conditions 和近期事件
kubectl describe pod api-xxx -n demo

# 查看当前这次运行的容器日志
kubectl logs api-xxx -n demo -c api --tail=200 --timestamps

# 查看上一次退出的容器日志
kubectl logs api-xxx -n demo -c api --previous --tail=200 --timestamps

# 按时间查看 namespace 中的事件
kubectl get events -n demo --sort-by=.metadata.creationTimestamp
```

`-c` 用于选择容器，只有一个容器时通常可以省略。存在 init container 或 sidecar 时，也要检查它们的状态和日志。

| 证据 | 主要回答的问题 |
| --- | --- |
| Pod 状态与 Conditions | 卡在哪个阶段？ |
| Events | 调度器、节点或存储组件为什么执行失败？ |
| 当前容器日志 | 本次启动后发生了什么？ |
| 上一次容器日志 | 上一次为什么退出？ |
| 历史资源指标与系统日志 | 是否与资源压力、负载或节点异常有关？ |

`--previous` 通常只能读取前一次容器实例的日志，不是完整历史。Events 也有保留期限；持续排障需要集中日志和监控。先记录 Pod UID、节点、时间、镜像版本等现场信息，再考虑删除或重启，避免丢失证据。

## Pending：先看有没有分配到 Node

Pending 表示 Pod 尚未完成运行准备。可能还没调度，也可能已经调度但卡在镜像拉取、卷挂载等步骤，不能直接认定为机器资源不够。

```bash
kubectl get pod api-xxx -n demo -o wide
kubectl describe pod api-xxx -n demo
```

如果没有分配 Node，或 `PodScheduled` 为 False，重点查看 `FailedScheduling` 等事件：

| 事件或现象 | 调查方向 |
| --- | --- |
| `Insufficient cpu` / `memory` | 节点剩余可分配资源无法满足 requests |
| `untolerated taint` | 节点污点与 Pod 的 tolerations 不匹配 |
| 不满足 node selector / affinity | 没有符合标签或亲和性要求的节点 |
| `unbound ... PersistentVolumeClaims` | PVC 绑定或供给条件未满足 |
| 节点不可调度或不可用 | 节点被 cordon、NotReady，或受其他调度限制影响 |

**调度主要看资源 requests 和节点可分配资源，不是当前 CPU 使用率。** 节点实际 CPU 使用率只有 10%，但可分配 CPU 已被其他 Pod 的 requests 占满，新 Pod 仍可能无法调度。

```bash
kubectl describe node <node-name>
kubectl get pvc -n demo
```

已经分配 Node 时，沿 Events 查 `FailedMount`、`ErrImagePull`、`ImagePullBackOff` 或 Pod sandbox 创建失败等原因。`kubectl get pods` 的 STATUS 列可能展示这些具体原因，而非底层 Pod phase 的 Pending。

## CrashLoopBackOff：程序反复退出，重启被延迟

CrashLoopBackOff 是反复失败后的重启退避状态，不是根因：

```text
启动 → 退出 → 重启 → 再退出 → 延长下一次重启的等待时间
```

最有价值的证据通常是上一次容器日志，以及 `describe` 中的 `Last State`：

```bash
kubectl logs api-xxx -n demo -c api --previous --timestamps
kubectl describe pod api-xxx -n demo
```

重点查看终止原因、退出码、启动与结束时间，以及探针失败和容器被终止的事件。

常见原因包括：缺少环境变量、配置文件错误、启动命令不适用于长期运行、文件权限不足、依赖连接失败、应用异常、内存超限，或探针配置不合理。

### 区分三种探针

| 探针 | 失败时的主要作用 |
| --- | --- |
| readiness | 将实例标记为未就绪，通常使其不再接收 Service 流量；不会因此重启容器 |
| liveness | 达到失败阈值后触发容器重启 |
| startup | 成功前暂不执行 liveness/readiness；持续失败达到阈值也会触发重启 |

例如应用启动需要 90 秒，但 liveness 几秒后就开始检查并迅速达到失败阈值，应用可能永远启动不起来。需要根据实际启动行为设计 startup probe 和探针参数，而不只是把所有超时都放大。

修复前先判断是应用自己退出，还是被探针或系统终止。删除 Pod 可能暂时改变现象，但不能证明根因已经消失。

## OOMKilled：区分容器限制与节点内存压力

OOM 是 Out Of Memory。排查时需要区分容器达到内存约束与节点整体内存不足，结合终止状态、历史指标及节点侧日志判断。

```bash
kubectl describe pod api-xxx -n demo
kubectl top pod api-xxx -n demo --containers
kubectl top node
kubectl describe node <node-name>
```

`kubectl top` 需要集群提供相应指标服务。它展示近期指标，不能替代故障前后的历史曲线。

| 配置 | 含义 |
| --- | --- |
| memory request | 用于调度和资源保障判断，不是容器最大可用内存 |
| memory limit | 内存使用约束，达到约束后可能触发 OOM |

| 内存变化特征 | 调查方向 |
| --- | --- |
| 长时间持续增长 | 内存泄漏、缓存无上限 |
| 某个请求或批任务时突然暴涨 | 输入过大、批量加载、并发过高 |
| 启动阶段暴涨 | 加载模型、索引或大型数据 |
| 同一节点多个应用同时异常 | 节点内存压力、系统进程、资源超配 |

需要区分内核 OOM 与 kubelet 因节点压力驱逐 Pod：后者可能表现为 `Evicted`。节点的当前 Conditions 也未必能反映已经过去的压力峰值，需要结合事件和历史记录。

两个常见误判：

- 重启后内存很低，不能证明之前没有 OOM；新进程的指标已经重置，监控采样也可能漏掉短时峰值。
- 退出码 137 通常表示 SIGKILL，不能单独证明 OOM；需要结合终止原因和系统记录。

解决方案可能是限制并发、分批处理、调整缓存、修复泄漏，或在容量允许时增加内存。增加 limit 前，应确认节点有足够容量，避免将容器问题扩大为节点问题。

## PVC 挂载失败：区分绑定、挂载和应用权限

| 概念 | 含义 |
| --- | --- |
| PVC | 应用提出的存储申请 |
| PV | Kubernetes 中表示具体存储的资源 |
| StorageClass | 动态创建存储时使用的类别与规则 |
| CSI 驱动 | Kubernetes 与实际存储系统之间的接口实现 |

```bash
kubectl get pvc -n demo
kubectl describe pvc <pvc-name> -n demo
kubectl describe pod api-xxx -n demo
kubectl get storageclass
```

### 第一阶段：PVC 尚未绑定

检查是否有匹配的 PV、StorageClass 是否正确、动态供给组件是否正常，以及容量、配额、访问模式等条件是否满足。

`WaitForFirstConsumer` 模式下，存储可能要等待消费者 Pod 的调度需求明确后才绑定，避免创建在不合适的可用区。因此 PVC 暂时 Pending 不一定是故障，要结合 Pod 调度状态判断。

### 第二阶段：已绑定，但无法连接或挂载

Pod Events 可能出现 `FailedAttachVolume`、`FailedMount` 或 `Multi-Attach error`。

检查卷与节点的可用区是否匹配、卷是否仍连接在旧节点、CSI controller 和节点插件是否正常、存储网络是否可达，以及文件系统和挂载参数是否正确。部分存储类型没有独立的 attach 步骤，排查应遵循实际驱动流程。

`ReadWriteOnce` 通常限制单节点读写挂载，不等于只能一个 Pod 使用；同节点多个 Pod 是否适用还需要结合具体驱动和应用语义判断。不要把卷强制从旧节点断开当作常规操作，要先确认旧节点和写入方的状态。

### 第三阶段：挂载成功，但应用不能读写

如果应用日志出现 `Permission denied`，检查目录权限、UID/GID、只读挂载和安全上下文等。此时不应继续把重点放在 PVC 供给上。

**PVC 的 Bound 状态只证明申请已绑定到存储，不保证 Pod 已挂载成功，也不保证应用有权限读写。** 删除 PVC 可能触发持久数据删除，不能将它作为无差别的重试手段。

## DNS/TLS 故障：沿访问链路逐层定位

```text
解析域名 → 建立 TCP 连接 → TLS 握手 → HTTP 请求 → 应用处理
```

| 现象 | 优先调查 |
| --- | --- |
| `Could not resolve host`、`NXDOMAIN` | DNS 配置、记录和解析路径 |
| 连接超时 | 路由、防火墙、NetworkPolicy、服务端可达性 |
| `Connection refused` | 地址、转发配置或目标端口监听状态 |
| 证书过期、未知 CA、域名不匹配 | TLS 证书与信任配置 |
| HTTP 401、403、500 | 已到达某个 HTTP 处理组件，继续查认证、授权、网关或应用 |

### DNS：在故障网络环境里对比测试

下面的命令应在故障容器或合适的调试环境中执行：

```bash
cat /etc/resolv.conf
nslookup kubernetes.default.svc.cluster.local
nslookup api.demo.svc.cluster.local
```

示例假设集群域为 `cluster.local`，实际集群可能不同。镜像没有工具时，可在权限允许的情况下使用临时调试容器；如果新建调试 Pod，需要考虑它的 namespace、节点、标签及网络策略是否与故障 Pod 一致。

对比内部域名与外部域名、同 namespace 的其他 Pod，以及不同节点上的 Pod：

- 内部正常、外部失败：重点看上游 DNS、外部解析路径和相关策略。
- 某个节点上的 Pod 都异常：重点看节点到 DNS 服务的网络路径及节点本地 DNS 缓存（如有）。
- 只有单个 Pod 异常：检查它的 `dnsPolicy`、`dnsConfig` 和运行环境。

必要时检查 CoreDNS 实例、日志和指标，以及 DNS 的 UDP/TCP 流量是否被阻断。`nslookup` 成功也不保证应用使用的解析器和缓存行为完全相同，还要结合应用日志验证。

解析成功但服务仍不可访问时，检查 Service 和后端：

```bash
kubectl get service api -n demo
kubectl get endpointslices -n demo \
  -l kubernetes.io/service-name=api
```

进一步查看 EndpointSlice 中的地址、端口和 ready 条件。没有可用后端可能是 selector 不匹配或 Pod 未就绪，不能继续一律归为 DNS 故障。

### TLS：确认实际收到的证书

```bash
curl -v https://api.example.com/health

openssl s_client \
  -connect api.example.com:443 \
  -servername api.example.com \
  -showcerts </dev/null
```

重点检查证书有效期与系统时间、SAN 域名匹配、证书链完整性、客户端信任的 CA、是否启用 mTLS，以及 TLS 实际在哪一层终止。

`-servername` 用于发送 SNI，让服务器选择对应域名的证书。`s_client` 适合查看握手和证书详情，但默认不能把握手成功直接等同于严格校验通过；需要检查验证结果，并按目标配置 `-verify_hostname`、`-verify_return_error` 和相应 CA。

Ingress 或网关可能仍在提供旧证书，所以只看 Secret 中的文件不够，应检查请求实际到达的入口和实际收到的证书。如果启用 mTLS，还需检查客户端证书、私钥和服务端信任配置。

想绕开 DNS、固定目标 IP，同时保留域名和 SNI，可用：

```bash
curl -v --resolve api.example.com:443:10.0.0.10 \
  https://api.example.com/health
```

地址是示例。若环境使用 HTTP 代理，还要确认请求是否通过代理，避免误判测试路径。`curl -k` 可辅助判断证书校验问题，但关闭验证不能作为正式修复方案。

## 常见误区

- 一看到 Pending 就扩容，忽略调度约束和存储条件。
- 只看当前容器日志，不看 `--previous` 和终止状态。
- 把 readiness 失败当作重启原因。
- 以退出码 137 或重启后的低内存使用率直接判断 OOM 根因。
- 把 PVC Bound 当作挂载和权限全部正常。
- 在自己电脑上解析成功，就认定 Pod 内 DNS 正常。
- 先删除资源、关闭 TLS 校验，再尝试找原因，导致证据丢失或引入新的风险。

## 面试回答示例

> 我会先确认影响范围和最近变更，再看 Pod 状态、Conditions、Events、当前及上一次容器日志，判断故障阶段。Pending 先区分有没有调度到节点；CrashLoopBackOff 查上一次退出原因和探针；OOMKilled 区分容器限制与节点内存压力，并结合历史指标；PVC 问题区分绑定、连接挂载和应用权限三个阶段；访问故障按 DNS、TCP、TLS、HTTP 逐层验证。先保留证据，再做最小范围的止损或修复，最后验证恢复并定位根因。

Kubernetes 实操经验有限时，可先如实说明范围，再解释 Linux、进程、内存、存储和网络排查经验如何应用到这些层次。

## 延伸问题

- Pod 只在某一台 Node 上失败，如何设计对照实验？
- 什么样的 liveness probe 会把依赖故障放大成集体重启？
- 内存采样没有捕获峰值，还能从哪些证据确认 OOM？
- StatefulSet 的 Pod 迁移到其他节点后出现 Multi-Attach，如何安全处理？
- DNS 查询成功，但应用仍报解析失败，可能有哪些缓存或解析器差异？
- 证书轮换后部分客户端仍失败，如何区分旧连接、信任链和多入口配置问题？
