搜索你想找的开源项目

输入名称、用途或关键词,也可粘贴 GitHub 仓库链接
全部技能

gke-inference

为选定的模型、推理服务器和加速器生成 GKE 推理清单并部署。

适合什么时候用

你已有 Gemma 或 Llama 等模型和 GKE 集群,但还没有可用的推理清单,需要确定有效的加速器与服务器组合。

举个例子

你对 AI 说

用 gke-inference 把 gemma-2-9b-it 以 vLLM 部署到 L4 GPU,目标 NTPOT 为 50ms,并给我可应用的清单。

你会拿到
  • inference.yaml 清单
  • 部署命令
  • 加速器选择

它会怎么做

  • 先用 gcloud container ai profiles 列出支持的模型和有效的模型/服务器/加速器组合,再生成清单。
  • 包含在 Autopilot 上定位 GPU 节点的 ComputeClass 示例。
  • 涵盖基于 GPU 使用率的自动扩缩,以及量化、张量并行等调优建议。

安装前须知

需要 golden path GKE Autopilot 集群、已认证的 gcloud CLI,以及目标区域足够的 GPU/TPU 配额。