搜索你想找的开源项目

输入名称、用途或关键词,也可粘贴 GitHub 仓库链接
全部技能

agent-platform-eval-flywheel

构建评测数据集、运行智能体推理,并用 Google Cloud 的 GenAI 评测 SDK 打分。

适合什么时候用

你已有智能体或模型,但无法判断回答好坏,需要在改提示词或代码前先得到一份带分数的数据集。

举个例子

你对 AI 说

用 agent-platform-eval-flywheel 在项目 my-proj、区域 us-central1 评测我的客服 ADK 智能体:用这些示例问题建一个小评测集,并按整体质量和幻觉打分。

你会拿到
  • 评测数据集脚本
  • 打分评测报告
  • 失败原因分析

它会怎么做

  • 按五步循环推进:准备数据、运行推理、打分、分析失败,再修复并复测。
  • 每次评测运行前都会给出试运行预览,需你明确同意后才执行。
  • 没有数据时可以先合成多轮用户场景。

安装前须知

需要一个 Google Cloud 项目和区域,并安装 vertexai、google-genai、pandas 和 requests 包。

这个技能带 7 个脚本,助手使用时可能会在你的电脑上运行它们。