NVIDIA/SkillEvaluator

项目介绍

SkillEvaluator 是 NVIDIA Verified Skills 流水线的一部分，处理的是按 Agent Skills 规范 组织的技能——由说明文档和配套文件组成的目录，会被加载进智能体。它把评估拆成三个相互独立的层级：

• Tier 1 校验：技能是否格式正确、是否安全。包含静态检查，以及固定版本的 SkillSpector 与 Gitleaks，Semgrep 可选。
• Tier 2 去重：指导内容是否重复或与其他技能重叠，借助 embeddings 和 catalog 做跨技能比较。
• Tier 3 实测：技能是否真的改变智能体行为。通过 Harbor 在沙箱中运行任务，对比使用与不使用技能的结果。

报告可输出到终端、JSON 或 CI。GitHub/GitLab 模板可对变更的技能执行质量与安全检查，并把报告发回 PR 评论。适合技能作者，以及向 Claude Code、Codex 等智能体分发技能的平台团队。

快速使用

准备 Git 和 uv，uv 会自行准备 Python 3.13。克隆仓库后，对内置的 text-analyzer 技能运行无需密钥的质量检查：

git clone --depth 1 https://github.com/NVIDIA/SkillEvaluator.git
cd SkillEvaluator
uv run --python 3.13 skillevaluator quality-check \
  src/skillevaluator/tier3/reference_skills/text-analyzer \
  -r cli -r json -o reports/first-quality

不需要 API key、扫描器、GPU 或 Docker。按 无 LLM 走查文档，示例得分为 84.5/100（B），退出码 0，并写出 reports/first-quality/skillevaluator-quality.json；默认通过阈值为 70。这只是静态质量结果，发布证据仍为 INCOMPLETE，安全与智能体影响需要其他层级。

如需模型评分的清单式反馈，先在 build.nvidia.com 注册 NVIDIA Developer Program 并生成密钥，然后：

export SKILL_EVAL_LLM_PROVIDER=nv_build
export NVIDIA_API_KEY='nvapi-...'
uv run --python 3.13 --extra llm skillevaluator rubric-eval \
  src/skillevaluator/tier3/reference_skills/text-analyzer \
  -r cli -r json -o reports/first-build

要跑完整流程，先 uv run --extra all skillevaluator doctor --env-mode docker 检查环境，再 validate ./my-skill 以 autopilot 方式跑三层。把示例路径换成你自己的技能目录即可。

使用约束

• 各层级按需安装：--extra security、--extra tier2、--extra tier3 或 --extra all。实测层需要模型提供方访问权限、受支持的智能体和运行中的沙箱（默认 Docker）。
• 扫描器无法运行时结果标记为 INCOMPLETE 并以非零码退出；--no-llm 不会免去扫描器要求。跨技能比较未运行时，Tier 2 会在报告中说明。
• 只有 Tier 1 总是作为 validate 的门禁。Tier 2 默认门禁，可用 --no-block-on-dedup 关闭；Tier 3 仅在 --block-on-agent-eval 时门禁。
• 模型端点和托管沙箱可能产生费用，见成本说明。NVIDIA Build 的免费试用受访问条款和速率限制约束。
• 评估数据默认较少：模板包含一个起步用例，未在 EVAL.md 中编写的负例不会纳入。需要更广覆盖时运行 tier3 create-eval-dataset ./my-skill --full，并人工复核生成的用例。
• 项目会下载并安装第三方开源扫描器，使用前需核对各自许可证。项目本身用 Apache-2.0。支持级别标注为 Experimental，社区尽力维护，无 SLA。

HotRepo 点评

站内目前只记录到一次数据：2026-11-12 的 Python 日榜快照，当日新增 83 Star，最好名次为第 16，总 Star 为 756。单次快照只能说明当天的上榜事实，不足以描述趋势。对采用者来说，关键设计在于职责分离：无需凭据的确定性质量检查可以随每次提交运行，而模型调用与沙箱实测被放在 extra 和显式开关之后。接入 CI 时建议先落 Tier 1，再把实测智能体影响作为独立的付费步骤评估。