diag-k8s-pod-crashloop

K8s Pod CrashLoopBackOff 全链排查。从 kubectl describe → events → logs → restart policy → resource limits → liveness/readiness probe → image pull → configmap/secret 挂载,定位根因并输出修复建议。

SKILL.md

GitHub

K8s Pod CrashLoopBackOff Full-Chain Diagnostics

用途

当 Pod 反复重启、状态显示 CrashLoopBackOff 或 Error 时触发。本技能是自包含诊断 Runbook。

输入

  • kubectl 上下文(kubeconfig)
  • 目标 Pod 名称 + Namespace

输出

  • CrashLoop 根因分析报告 + 修复建议

诊断步骤

Step 1: Pod 状态与事件

kubectl get pod {pod_name} -n {namespace} -o wide
kubectl describe pod {pod_name} -n {namespace}
# 关注 Events 区块:OOMKilled / Error / ImagePullBackOff / FailedMount

Step 2: 容器日志

# 当前容器日志(可能在 crash 后已清空)
kubectl logs {pod_name} -n {namespace} --all-containers=true --tail=100

# 上一次崩溃的日志
kubectl logs {pod_name} -n {namespace} --all-containers=true --previous --tail=200

Step 3: 重启原因分类

事件关键词 根因 典型修复
OOMKilled 内存超限 增大 resources.limits.memory 或修复内存泄漏
Error (exit code 1) 应用启动失败 检查日志、配置、依赖服务连通性
ImagePullBackOff 镜像拉取失败 检查 image tag、imagePullSecrets、registry 可达
FailedMount ConfigMap/Secret/PVC 挂载失败 检查引用是否存在
Liveness probe failed 健康检查超时 调整 initialDelaySeconds / timeoutSeconds
CreateContainerConfigError env/configMapKeyRef 缺失 检查引用的 ConfigMap/Secret key
BackOff restarting 重启间隔递增 以上任一原因的持续重试

Step 4: 资源限制与请求

kubectl get pod {pod_name} -n {namespace} -o jsonpath='{range .spec.containers[*]}{.name}: requests={.resources.requests} limits={.resources.limits}{"\n"}{end}'

Step 5: 依赖检查

# ConfigMap/Secret 是否存在
kubectl get configmap -n {namespace} | grep {configmap_name}
kubectl get secret -n {namespace} | grep {secret_name}

# PVC 状态
kubectl get pvc -n {namespace} | grep {pvc_name}

# Service 端点
kubectl get endpoints {service_name} -n {namespace}

输出模板

K8s Pod CrashLoop Analysis Report
════════════════════════════════════════
Cluster:   {context}
Namespace: {namespace}
Pod:       {pod_name}
Node:      {node_name}
Time:      {timestamp}

Pod Status
  Phase:         {phase}
  Restart Count: {restart_count}
  Last State:    {last_state} (exit code: {exit_code})
  Reason:        {reason}

Events (last 10)
  {event_1}
  {event_2}
  ...

Container Logs (previous crash, last 20 lines)
  {log_lines}

Root Cause: {root_cause}

Recommendations
  1. {fix_1}
  2. {fix_2}

告警阈值

指标 Warning Critical
Pod restarts in 1h > 3 > 10
CrashLoopBackOff duration > 5min > 30min
Node NotReady - 任一

推荐输出格式

执行完毕后输出诊断报告:

结论:<正常 / 发现问题>

排查环节 发现 证据
... {...} {...}

根因:<定位> 修复建议:<可执行步骤>

约束

  • 只读诊断,不执行 kubectl delete / edit / scale 等变更操作。
  • 不修改 kubeconfig 或切换 context。

Quick Reference

动作 命令
Pod 状态 kubectl get pod {name} -n {ns} -o wide
Pod 详情 kubectl describe pod {name} -n {ns}
容器日志 kubectl logs {name} -n {ns} --previous --tail=200
资源限制 kubectl get pod {name} -n {ns} -o jsonpath='...'
节点状态 kubectl get nodes -o wide

专题引用

无外部 references。如需 K8s 集群运维,联动 infra-observability-ops。