全部技能
agent-platform-eval-flywheel
构建评测数据集、运行智能体推理,并用 Google Cloud 的 GenAI 评测 SDK 打分。
- 属于 google/skills
- 9800次安装
- AI 工程 · 评测监控
适合什么时候用
你已有智能体或模型,但无法判断回答好坏,需要在改提示词或代码前先得到一份带分数的数据集。
举个例子
你对 AI 说
用 agent-platform-eval-flywheel 在项目 my-proj、区域 us-central1 评测我的客服 ADK 智能体:用这些示例问题建一个小评测集,并按整体质量和幻觉打分。
你会拿到
- 评测数据集脚本
- 打分评测报告
- 失败原因分析
它会怎么做
- 按五步循环推进:准备数据、运行推理、打分、分析失败,再修复并复测。
- 每次评测运行前都会给出试运行预览,需你明确同意后才执行。
- 没有数据时可以先合成多轮用户场景。
安装前须知
需要一个 Google Cloud 项目和区域,并安装 vertexai、google-genai、pandas 和 requests 包。
这个技能带 7 个脚本,助手使用时可能会在你的电脑上运行它们。