搜索你想找的开源项目

输入名称、用途或关键词,也可粘贴 GitHub 仓库链接
全部技能

gke-ai-troubleshooting-tpu-vbar-oom

诊断 GKE TPU v6e 节点上 vbar_control_agent 的内存溢出和段错误,并给出处理建议。

适合什么时候用

TPU v6e 训练任务崩溃或节点异常,且串口日志出现 vbar_control_agent 被内存 cgroup 杀死的记录时使用。

举个例子

你对 AI 说

用 gke-ai-troubleshooting-tpu-vbar-oom 排查集群 tpu-cluster-prod 上 TPU v6e 训练任务在 2026-04-14T20:00:00Z 前后崩溃的原因。

你会拿到
  • OOM 日志排查结果
  • tpu-device-plugin 错误检查
  • 自定义指标采集检查

它会怎么做

  • 在串口日志中匹配 vbar_control_agent 被内存 cgroup 杀死的特定模式。
  • 检查 tpu-device-plugin 日志中的校验和不匹配错误,判断 vBAR 内存是否损坏。
  • 查找频繁调用 GetHostMetrics 的自定义 TPU 指标采集器,它可能触发竞态条件。

安装前须知

项目需启用 Cloud Logging,并具备通过 gcloud 或等效工具访问项目和集群的权限。

这个技能带 1 个脚本,助手使用时可能会在你的电脑上运行它们。