全部技能
gke-ai-troubleshooting-tpu-vbar-oom
诊断 GKE TPU v6e 节点上 vbar_control_agent 的内存溢出和段错误,并给出处理建议。
- 属于 google/skills
- 5700次安装
- 运维与部署 · 容器集群
适合什么时候用
TPU v6e 训练任务崩溃或节点异常,且串口日志出现 vbar_control_agent 被内存 cgroup 杀死的记录时使用。
举个例子
你对 AI 说
用 gke-ai-troubleshooting-tpu-vbar-oom 排查集群 tpu-cluster-prod 上 TPU v6e 训练任务在 2026-04-14T20:00:00Z 前后崩溃的原因。
你会拿到
- OOM 日志排查结果
- tpu-device-plugin 错误检查
- 自定义指标采集检查
它会怎么做
- 在串口日志中匹配 vbar_control_agent 被内存 cgroup 杀死的特定模式。
- 检查 tpu-device-plugin 日志中的校验和不匹配错误,判断 vBAR 内存是否损坏。
- 查找频繁调用 GetHostMetrics 的自定义 TPU 指标采集器,它可能触发竞态条件。
安装前须知
项目需启用 Cloud Logging,并具备通过 gcloud 或等效工具访问项目和集群的权限。
这个技能带 1 个脚本,助手使用时可能会在你的电脑上运行它们。