全部技能
gke-inference
为选定的模型、推理服务器和加速器生成 GKE 推理清单并部署。
- 属于 google/skills
- 8500次安装
- 运维与部署 · 容器集群
适合什么时候用
你已有 Gemma 或 Llama 等模型和 GKE 集群,但还没有可用的推理清单,需要确定有效的加速器与服务器组合。
举个例子
你对 AI 说
用 gke-inference 把 gemma-2-9b-it 以 vLLM 部署到 L4 GPU,目标 NTPOT 为 50ms,并给我可应用的清单。
你会拿到
- inference.yaml 清单
- 部署命令
- 加速器选择
它会怎么做
- 先用 gcloud container ai profiles 列出支持的模型和有效的模型/服务器/加速器组合,再生成清单。
- 包含在 Autopilot 上定位 GPU 节点的 ComputeClass 示例。
- 涵盖基于 GPU 使用率的自动扩缩,以及量化、张量并行等调优建议。
安装前须知
需要 golden path GKE Autopilot 集群、已认证的 gcloud CLI,以及目标区域足够的 GPU/TPU 配额。