全部技能
gke-ai-troubleshooting-jobset-interruption
诊断 GKE JobSet 的重启循环与抢占问题,并给出改用按需 VM 或隔离故障主机等修复建议。
- 属于 google/skills
- 5900次安装
- 运维与部署 · 容器集群
适合什么时候用
你的 AI/ML 训练 JobSet 反复重启或 Pod 一直处于 Pending,需要判断是 Spot 抢占、坏主机还是 worker 崩溃导致的。
举个例子
你对 AI 说
用 gke-ai-troubleshooting-jobset-interruption 帮我查一下 ml-prod 集群里 llama-train 这个 JobSet 为什么从 30 分钟前开始一直重启。
你会拿到
- 重启与抢占分析结果
- 节点与物理主机关联
- 建议的解决步骤
它会怎么做
- 把故障节点关联到其底层 GCE 物理主机,找出反复导致重启的同一台机器。
- 读取 coordinator worker 日志,排查 NCCL 超时和集合通信卡死。
安装前须知
集群的 kube-state-metrics 必须启用 JobSet 指标包,且项目需启用 Cloud Logging 和 Cloud Monitoring。
这个技能带 1 个脚本,助手使用时可能会在你的电脑上运行它们。