K8s Fta Skill

Kubernetes FTA故障树分析技能 / Kubernetes FTA Fault Tree Analysis Skill

技能简介 / Skill Introduction

本技能基于FTA（故障树分析）方法，提供系统化的Kubernetes集群故障排查和自动修复功能。通过自动执行kubectl命令，帮助用户快速定位和解决k8s环境中的各种问题，包括Pod运行异常、服务访问失败、网络通信问题、RBAC权限问题、DNS解析失败、OOMKilled、健康检查失败、网络策略限制、存储挂载问题、HPA扩展问题、API Server连接问题等。

This skill provides systematic Kubernetes cluster troubleshooting and automated fixing based on FTA (Fault Tree Analysis) methodology. Through automatic kubectl command execution, it helps users quickly locate and resolve various issues in k8s environments, including Pod failures, service access problems, network communication issues, RBAC permission issues, DNS resolution failures, OOMKilled, health check failures, network policy restrictions, storage mount issues, HPA scaling problems, API Server connectivity issues, and more.

工作方式 / Working Method

自动化故障排查流程

1. 用户描述问题：用户描述k8s集群中遇到的问题
2. 自动执行命令：技能根据FTA流程，自动执行相应的kubectl命令
3. 分析输出结果：技能分析命令输出，识别问题原因
4. 执行下一步操作：技能根据分析结果，自动执行下一步排查命令
5. 提供修复方案：技能提供具体的修复建议，必要时自动执行修复命令
6. 验证修复效果：技能验证修复是否成功，确保问题得到解决

安全性考虑

• 只读操作优先：优先执行只读命令（如kubectl get、kubectl describe、kubectl logs）
• 修改操作确认：执行修改操作前，先向用户确认操作内容
• 环境检查：执行命令前检查k8s/k3s环境是否可用
• 错误处理：遇到错误时自动重试或提供替代方案
• 回滚机制：对于修改操作，提供回滚选项

故障排查流程

1. 开始排查

自动执行以下命令检查集群中所有Pod的状态：

kubectl get pods --all-namespaces

分析输出：

• 检查是否有Pod处于非Running状态
• 识别异常状态的Pod（Pending、CrashLoopBackOff、Error等）
• 记录异常Pod的名称和命名空间

2. Pod状态检查

2.1 Pod状态分析

根据第一步的结果，对异常状态的Pod执行详细检查：

kubectl describe pod <pod-name> -n <namespace>

分析输出：

• 检查Events部分，识别调度失败、镜像拉取失败等问题
• 检查Container State，识别容器启动失败、运行时错误等
• 检查Conditions，识别Pod就绪状态、调度状态等

2.2 根据状态执行相应检查

Pending状态：

kubectl describe node <node-name>
kubectl get resourcequota -n <namespace>
kubectl describe pvc <pvc-name> -n <namespace>

CrashLoopBackOff状态：

kubectl logs <pod-name> -n <namespace>
kubectl logs <pod-name> --previous -n <namespace>

Error状态：

kubectl logs <pod-name> -n <namespace>
kubectl describe pod <pod-name> -n <namespace>

3. 资源配额检查

如果Pod处于Pending状态且资源不足，检查资源配额：

kubectl get resourcequota -n <namespace>
kubectl describe resourcequota <quota-name> -n <namespace>
kubectl describe node <node-name>

分析输出：

• 检查ResourceQuota是否已满
• 检查节点资源使用情况
• 识别资源瓶颈（CPU、内存、存储等）

自动修复建议：

• 建议增加ResourceQuota限制
• 建议调整Pod资源请求和限制
• 建议扩容节点资源

4. 存储问题检查

如果存在PersistentVolumeClaim问题，检查存储配置：

kubectl get pvc -n <namespace>
kubectl describe pvc <pvc-name> -n <namespace>
kubectl get pv
kubectl describe pv <pv-name>

分析输出：

• 检查PVC是否处于Bound状态
• 检查PV是否可用
• 检查存储类（StorageClass）配置
• 识别存储驱动问题

自动修复建议：

• 建议检查存储类配置
• 建议修复PV/PVC绑定问题
• 建议检查存储驱动状态

5. 镜像问题检查

如果存在镜像拉取失败，检查镜像配置：

kubectl describe pod <pod-name> -n <namespace>
kubectl get pods -n <namespace> -o jsonpath='{.items[*].spec.containers[*].image}'

分析输出：

• 检查镜像名称是否正确
• 检查镜像Tag是否存在
• 检查是否需要从私有仓库拉取镜像
• 识别认证问题

自动修复建议：

• 建议修正镜像名称和Tag
• 建议创建或更新imagePullSecret
• 建议检查私有仓库访问权限

6. 容器启动问题检查

如果Pod处于CrashLoopBackOff状态，检查容器日志：

kubectl logs <pod-name> -n <namespace> --tail=100
kubectl logs <pod-name> -n <namespace> --previous --tail=100

分析输出：

• 检查应用程序错误日志
• 检查配置错误
• 检查依赖服务连接失败
• 识别启动失败原因

自动修复建议：

• 建议修复应用程序错误
• 建议修正配置文件
• 建议检查依赖服务状态
• 建议增加健康检查超时时间

7. 网络通信检查

执行端口转发测试Pod内部服务是否正常：

kubectl port-forward <pod-name> 8080:<pod-port> -n <namespace>

分析输出：

• 检查端口转发是否成功
• 测试本地端口访问
• 验证容器内部服务是否正常

自动修复建议：

• 建议检查容器端口配置
• 建议检查应用程序监听地址
• 建议检查网络策略限制

8. Service配置检查

如果服务访问失败，检查Service配置：

kubectl get svc -n <namespace>
kubectl describe svc <service-name> -n <namespace>
kubectl get endpoints <service-name> -n <namespace>

分析输出：

• 检查Service类型配置
• 检查端口映射是否正确
• 检查Pod选择器是否匹配
• 检查后端Pod是否就绪

自动修复建议：

• 建议修正Service端口配置
• 建议确保Pod标签匹配
• 建议检查网络策略
• 建议检查后端Pod状态

9. Ingress配置检查

如果通过Ingress访问失败，检查Ingress配置：

kubectl get ingress -n <namespace>
kubectl describe ingress <ingress-name> -n <namespace>
kubectl get svc -n <namespace>

分析输出：

• 检查Ingress规则配置
• 检查后端Service配置
• 检查Ingress控制器状态
• 检查TLS证书配置

自动修复建议：

• 建议修正Ingress规则
• 建议检查Ingress控制器
• 建议检查后端Service状态
• 建议更新TLS证书

10. 节点状态检查

如果多个Pod出现问题，检查节点状态：

kubectl get nodes
kubectl describe node <node-name>
kubectl top nodes

分析输出：

• 检查节点是否处于NotReady状态
• 检查节点资源使用情况
• 检查kubelet状态
• 识别节点问题

自动修复建议：

• 建议重启kubelet服务
• 建议检查节点资源
• 建议排查节点网络问题
• 建议替换故障节点

11. OOMKilled问题检查

如果Pod被OOMKilled，检查内存使用：

kubectl describe pod <pod-name> -n <namespace>
kubectl top pod <pod-name> -n <namespace>
kubectl top nodes

分析输出：

• 检查Pod内存限制设置
• 检查实际内存使用情况
• 识别内存泄漏
• 检查节点内存压力

自动修复建议：

• 建议增加Pod内存限制
• 建议优化应用程序内存使用
• 建议排查内存泄漏
• 建议增加节点内存

12. 健康检查失败检查

如果Pod因健康检查失败而重启，检查健康检查配置：

kubectl describe pod <pod-name> -n <namespace>
kubectl logs <pod-name> -n <namespace>

分析输出：

• 检查livenessProbe配置
• 检查readinessProbe配置
• 检查健康检查端点状态
• 识别健康检查失败原因

自动修复建议：

• 建议调整健康检查参数
• 建议增加初始延迟时间
• 建议修复健康检查端点
• 建议优化应用程序启动时间

13. RBAC权限问题检查

如果遇到权限拒绝错误，检查RBAC配置：

kubectl auth can-i <verb> <resource> --as=<user> -n <namespace>
kubectl get role -n <namespace>
kubectl get clusterrole
kubectl get rolebinding -n <namespace>
kubectl get clusterrolebinding

分析输出：

• 检查ServiceAccount权限
• 检查Role/ClusterRole配置
• 检查RoleBinding/ClusterRoleBinding绑定
• 识别权限不足问题

自动修复建议：

• 建议创建或更新Role/ClusterRole
• 建议创建或更新RoleBinding/ClusterRoleBinding
• 建议为ServiceAccount分配足够权限
• 建议检查权限策略

14. DNS解析问题检查

如果Pod无法解析域名，检查DNS配置：

kubectl exec -it <pod-name> -n <namespace> -- nslookup <domain>
kubectl exec -it <pod-name> -n <namespace> -- cat /etc/resolv.conf
kubectl get svc -n kube-system kube-dns
kubectl get pods -n kube-system -l k8s-app=kube-dns

分析输出：

• 检查CoreDNS/Kube-DNS状态
• 检查DNS配置文件
• 检查网络策略是否阻止DNS
• 识别DNS解析失败原因

自动修复建议：

• 建议重启CoreDNS Pod
• 建议检查DNS配置
• 建议检查网络策略
• 建议检查Service DNS名称

15. 网络策略限制检查

如果Pod无法访问其他服务，检查网络策略：

kubectl get networkpolicies --all-namespaces
kubectl describe networkpolicy <policy-name> -n <namespace>
kubectl get pods -n <namespace> -o wide

分析输出：

• 检查网络策略规则
• 检查Pod标签是否匹配
• 检查流量是否被阻止
• 识别网络策略限制

自动修复建议：

• 建议调整网络策略规则
• 建议确保Pod标签匹配
• 建议允许必要的网络流量
• 建议删除限制性网络策略

16. 持久化存储挂载问题检查

如果Pod无法挂载存储卷，检查存储配置：

kubectl describe pod <pod-name> -n <namespace>
kubectl get pvc -n <namespace>
kubectl get pv
kubectl get storageclass

分析输出：

• 检查PVC绑定状态
• 检查PV可用性
• 检查存储类配置
• 识别挂载失败原因

自动修复建议：

• 建议修复PVC/PV绑定
• 建议检查存储类配置
• 建议检查存储驱动
• 建议调整存储权限

17. 容器启动超时检查

如果Pod因启动超时而失败，检查启动配置：

kubectl describe pod <pod-name> -n <namespace>
kubectl logs <pod-name> -n <namespace>

分析输出：

• 检查应用程序启动时间
• 检查健康检查配置
• 检查terminationGracePeriodSeconds
• 识别启动超时原因

自动修复建议：

• 建议优化应用程序启动
• 建议增加健康检查初始延迟
• 建议增加terminationGracePeriodSeconds
• 建议检查依赖服务启动时间

18. 节点污点和容忍度检查

如果Pod无法调度到特定节点，检查污点配置：

kubectl describe node <node-name>
kubectl get pods -n <namespace> -o wide
kubectl describe pod <pod-name> -n <namespace>

分析输出：

• 检查节点污点配置
• 检查Pod容忍度配置
• 检查节点选择器
• 识别调度失败原因

自动修复建议：

• 建议为Pod添加容忍度
• 建议调整节点污点
• 建议修改节点选择器
• 建议检查节点标签