搜索你想找的开源项目

输入名称、用途或关键词,也可粘贴 GitHub 仓库链接
全部技能

gke-ai-troubleshooting-jobset-interruption

诊断 GKE JobSet 的重启循环与抢占问题,并给出改用按需 VM 或隔离故障主机等修复建议。

适合什么时候用

你的 AI/ML 训练 JobSet 反复重启或 Pod 一直处于 Pending,需要判断是 Spot 抢占、坏主机还是 worker 崩溃导致的。

举个例子

你对 AI 说

用 gke-ai-troubleshooting-jobset-interruption 帮我查一下 ml-prod 集群里 llama-train 这个 JobSet 为什么从 30 分钟前开始一直重启。

你会拿到
  • 重启与抢占分析结果
  • 节点与物理主机关联
  • 建议的解决步骤

它会怎么做

  • 把故障节点关联到其底层 GCE 物理主机,找出反复导致重启的同一台机器。
  • 读取 coordinator worker 日志,排查 NCCL 超时和集合通信卡死。

安装前须知

集群的 kube-state-metrics 必须启用 JobSet 指标包,且项目需启用 Cloud Logging 和 Cloud Monitoring。

这个技能带 1 个脚本,助手使用时可能会在你的电脑上运行它们。