精通 DevOps 工具与最佳实践 - DevOps 知识中心 精通 DevOps 工具与最佳实践 - DevOps 知识中心

常见的Kubernetes集群问题及修复方法

通过实用命令修复控制平面、etcd、节点、DNS和Pod网络中的常见Kubernetes集群问题。

常见的Kubernetes集群问题及修复方法

Kubernetes集群问题通常以症状开始：kubectl挂起、Pod停留在Pending状态、DNS故障或节点变为NotReady。了解常见的集群范围问题及其解决方案对于维护健康可靠的编排环境至关重要。本指南深入探讨影响Kubernetes控制平面、etcd和工作节点的常见问题，并提供实用的诊断和修复步骤。

从故障层开始，然后向内深入：API服务器、etcd、调度器和控制器、kubelet、容器运行时、CNI和DNS。

控制平面问题

Kubernetes控制平面是集群的大脑，管理其状态并协调操作。这里的问题可能会产生深远的影响。

API服务器不可用

API服务器是所有集群通信的中心枢纽。如果它宕机或无响应，你将无法使用kubectl或其他工具与集群交互。

症状：

  • kubectl命令超时或失败，出现连接拒绝错误。
  • 控制器和其他集群组件无法通信。

原因和修复：

  • 资源耗尽： API服务器Pod可能耗尽CPU或内存。使用kubectl top pods -n kube-system检查资源利用率，必要时扩展API服务器部署或节点。
    kubectl get pods -n kube-system -l component=kube-apiserver -o wide
kubectl top pods -n kube-system -l component=kube-apiserver
  • 网络问题： 确保网络策略或防火墙未阻止到API服务器端口（通常为6443）的流量。
  • 控制平面节点健康： 如果API服务器在特定节点上运行，请检查该节点的健康状况。它是否过载、处于NotReady状态或遇到内核恐慌？
    kubectl get nodes
kubectl describe node <node-name>
  • 证书过期： API服务器依赖TLS证书。如果证书过期，通信将失败。监控证书过期日期并主动续订。

控制器管理器或调度器故障

控制器管理器和调度器是负责管理集群期望状态和将Pod调度到节点上的关键组件。

症状：

  • 新Pod未创建或调度。
  • 部署、StatefulSet或其他控制器未进展。
  • Pod卡在Pending状态。

原因和修复：

  • Pod故障： 检查kube-system命名空间中kube-controller-manager和kube-schedulerPod的日志。
    kubectl logs <controller-manager-pod-name> -n kube-system
kubectl logs <scheduler-pod-name> -n kube-system
  • 领导者选举问题： 这些组件使用领导者选举来确保只有一个实例处于活动状态。网络分区或领导者选举锁问题可能导致它们不可用。
  • RBAC权限： 确保这些组件使用的服务账户具有与API服务器交互的必要权限。

Etcd问题

Etcd是Kubernetes所有集群数据的分布式键值存储后端。其健康状况至关重要。

Etcd性能下降

缓慢的etcd操作可能导致控制平面响应迟缓或无响应。

症状：

  • kubectl操作缓慢。
  • API服务器延迟。
  • 控制平面组件在与etcd通信时报告超时。

原因和修复：

  • 高磁盘I/O： Etcd对磁盘性能非常敏感。为etcd数据目录使用快速SSD。
  • 网络延迟： 确保etcd成员之间以及etcd与API服务器之间的低延迟。
  • 数据库大小过大： 随着时间的推移，etcd可能积累大量数据。定期压缩和碎片整理etcd数据库。
    REV=$(ETCDCTL_API=3 etcdctl --endpoints=<etcd-endpoints> \
  --cacert=<ca.crt> --cert=<client.crt> --key=<client.key> endpoint status -w json \
  | jq -r '.[0].Status.header.revision')
ETCDCTL_API=3 etcdctl --endpoints=<etcd-endpoints> \
  --cacert=<ca.crt> --cert=<client.crt> --key=<client.key> compact "$REV"
ETCDCTL_API=3 etcdctl --endpoints=<etcd-endpoints> \
  --cacert=<ca.crt> --cert=<client.crt> --key=<client.key> defrag
  • 资源不足： 确保etcd Pod或专用节点具有足够的CPU和内存。

Etcd集群不可用

如果etcd无法维持仲裁，整个集群将停止运行。

症状：

  • 集群完全无响应。
  • API服务器无法连接到etcd。

原因和修复：

  • 网络分区： 确保所有etcd成员可以相互通信。检查防火墙和网络配置。
  • 成员故障： 如果太多etcd成员发生故障（对于N成员集群，超过(N-1)/2），则仲裁丢失。调查故障成员，尝试重新启动它们，或考虑从备份恢复。
  • 磁盘损坏： 检查etcd日志中与磁盘相关的错误。如果数据损坏，可能需要从备份恢复。

提示： 始终进行定期且经过测试的etcd备份。这是你的最终安全网。

节点健康问题

工作节点是应用程序Pod运行的地方。节点问题直接影响应用程序可用性。

节点处于NotReady状态

当节点上的kubelet停止向API服务器报告其状态时，节点变为NotReady。

症状：

  • kubectl get nodes显示节点处于NotReady状态。
  • 调度到该节点上的Pod可能变得不可调度或被重新调度到其他地方。

原因和修复：

  • Kubelet未运行： Kubelet进程可能已崩溃或无法启动。检查节点上的kubelet日志。
    sudo journalctl -u kubelet -f
  • 资源匮乏： 节点可能耗尽CPU、内存或磁盘空间，导致kubelet无法正常运行。
    kubectl describe node <node-name>
# 在节点本身上：
top
df -h
  • 网络连接： 节点可能失去与控制平面的网络连接。
  • Docker/Containerd问题： 节点上的容器运行时（例如Docker、containerd）可能发生故障。

Pod驱逐

由于资源限制或其他策略驱动的事件，Pod可能从节点中被驱逐。

症状：

  • Pod处于Evicted状态。
  • kubectl describe pod <pod-name>显示Reason: Evicted和指示原因的消息（例如the node has insufficient memory）。

原因和修复：

  • 资源限制： 超过其定义资源限制（CPU/内存）的Pod是驱逐的候选对象，尤其是在内存压力下。
  • 节点压力： 节点可能遇到关键资源短缺（内存、磁盘、PID）。Kubernetes的kubelet驱逐管理器会主动监控这一点。
  • 服务质量（QoS）类别： 具有较低QoS类别（BestEffort、Burstable）的Pod比Guaranteed QoS Pod更有可能被驱逐。

预防：

  • 设置资源请求和限制： 为所有容器准确定义CPU和内存请求和限制。
    resources:
  requests:
    memory: "64Mi"
    cpu: "250m"
  limits:
    memory: "128Mi"
    cpu: "500m"
  • 使用节点污点和容忍： 防止不需要的Pod被调度到具有特定特征或资源限制的节点上。
  • 监控节点资源： 实施强大的监控以在节点资源利用率高时发出警报。

网络问题

网络是Kubernetes中复杂性和问题的常见来源。

Pod到Pod通信失败

Pod可能无法相互访问，即使它们在同一节点上。

原因和修复：

  • CNI插件问题： 容器网络接口（CNI）插件（例如Calico、Flannel、Cilium）负责Pod网络。检查CNI Pod的状态和日志。
    kubectl get pods -n kube-system -l <cni-label-selector>
kubectl logs <cni-pod-name> -n kube-system
  • 网络策略： 配置错误的NetworkPolicy资源可能阻止合法流量。
    kubectl get networkpolicy --all-namespaces
  • 防火墙/安全组： 确保节点之间和集群内的网络安全规则允许CNI所需的流量。
  • IP地址管理（IPAM）： IP地址分配问题可能阻止Pod获取有效IP或路由。

服务发现故障（DNS）

如果Pod无法解析服务名称，它们将无法与其他服务通信。

原因和修复：

  • CoreDNS/Kube-DNS问题： 集群的DNS服务（通常是CoreDNS）可能不健康或配置错误。检查其日志和资源利用率。
    kubectl logs <coredns-pod-name> -n kube-system
  • kubelet DNS配置： 确保每个节点上的kubelet正确配置为使用集群的DNS服务。这通常通过--cluster-dns标志设置。
  • 到DNS的网络连接： Pod必须能够到达DNS服务IP地址。

要点

Kubernetes集群故障排除需要有条理的方法，从识别症状开始，然后系统地调查相关组件。通过了解控制平面、etcd、节点和网络中的常见故障点，你可以高效地诊断和解决问题，确保Kubernetes环境的稳定性和性能。

关键要点：

  • 监控一切： 对所有集群组件实施全面监控。
  • 检查日志： Pod和系统日志对于定位根本原因非常宝贵。
  • 理解依赖关系： 识别etcd、API服务器和kubelet等组件如何交互。
  • 定期备份： 特别是etcd，定期备份对于灾难恢复至关重要。
  • 测试解决方案： 在生产环境中应用更改之前，先在暂存环境中进行测试。