Kubernetes故障排查手册.docxVIP

Kubernetes故障排查手册

一、Kubernetes集群故障概述

（一）故障分类与常见场景

Kubernetes集群故障可分为四类：节点故障、Pod运行异常、网络通信问题及存储配置错误。根据CNCF2023年调查报告，约65%的Kubernetes故障与Pod生命周期管理相关，20%由网络配置错误导致。例如，Pod处于Pending状态、Service无法访问等场景需优先排查资源配额和网络策略。

（二）故障排查方法论

系统化排查应遵循“从底层到上层”原则：

1.验证节点健康状态（如CPU、内存、磁盘压力）；

2.检查Kubernetes核心组件（kube-apiserver、kubelet等）；

3.分析Pod事件日志及资源配置；

4.排查网络插件（如Calico、Cilium）及存储驱动（如CSI插件）。

二、节点（Node）故障排查

（一）节点状态异常（NotReady）

当节点状态为NotReady时，可能原因包括：

kubelet服务未运行：通过systemctlstatuskubelet验证服务状态；

节点资源耗尽：使用kubectldescribenodenode-name查看Conditions字段中的MemoryPressure/DiskPressure；

网络连接中断：检查节点与Master的通信（如防火墙是否阻止10250端口）。

（二）节点资源不足

资源不足可能导致Pod无法调度：

1.CPU/内存超限：通过kubectltopnode查看实时资源使用率；

2.存储空间不足：使用df-h检查节点磁盘使用情况，尤其是/var/lib/kubelet目录；

3.PID数量限制：Linux系统默认PID上限为32768，可通过sysctlkernel.pid_max调整。

（三）kubelet日志分析

kubelet日志路径为/var/log/kubelet.log，重点关注以下错误：

证书过期：x509:certificatehasexpiredorisnotyetvalid；

镜像拉取失败：Failedtopullimagenginx:latest；

Cgroup配置错误：failedtocreatecgrouppaths。

三、Pod运行异常排查

（一）Pod启动失败（Pending/CrashLoopBackOff）

Pending状态：

资源不足：检查kubectldescribepod输出中的Events，如Insufficientcpu/memory；

节点选择器不匹配：验证nodeSelector或affinity规则。

CrashLoopBackOff状态：

应用启动错误：通过kubectllogs--previous查看上一次容器日志；

健康检查配置不当：调整livenessProbe/readinessProbe的超时时间。

（二）Pod网络连通性问题

跨节点通信失败：

检查CNI插件配置，如Calico的BGP路由是否正确；

使用kubectlexec进入Pod执行ping或curl测试。

DNS解析失败：

验证CoreDNSPod状态及配置（kubectlgetconfigmapcoredns-nkube-system）；

在Pod内执行nslookupkubernetes.default测试内部域名解析。

（三）存储卷挂载失败

PersistentVolumeClaim（PVC）未绑定：

检查StorageClass配置及PV可用性；

通过kubectlgetpvc查看STATUS字段是否为Bound。

权限问题：

对于NFS等存储，确保Pod的securityContext中设置了正确的用户/组ID。

四、网络故障排查

（一）Service无法访问

Endpoint缺失：

执行kubectlgetendpointsservice-name，确认是否有关联的PodIP；

检查Service的selector是否与Pod标签匹配。

网络策略限制：

查看NetworkPolicy是否阻止了流量（如deny-all策略）。

（二）Ingress控制器异常

Ingress未生效：

检查IngressController日志（如NginxIngress的kubectllogs-ningress-nginx）；

验证Ingress规则中的host和path是否配置正确。

证书问题：

若使用HTTPS，确认Secret中的TLS证书有效且与域名匹配。

五、控制平面故障排查

（一）kube-apiserver故障

apiserver无响应：

检查kubectlgetc