lijiaqi-AI-Product-Manager/dsh-agent-compare

项目介绍

AgentCompare 是 DeepSeek Harness（DSH）的插件，用来解决 Agent 写前端时“测试只能证明功能存在、体验好坏得靠人看”的问题。它让同一个前端需求生成两份独立实现，真实运行起来供人操作比较，选定之后再揭晓所用的模型或策略。

适合搜索筛选、表单流程、落地页、仪表盘布局、组件重设计这类界面和交互任务。答案唯一的修 bug 或重构，README 建议直接用单个 Agent 加测试。

两种比较方式：

方式	相同的部分	不同的部分
同一模型 · 两种策略（默认）	模型、需求、验收	“稳妥”沿用现有写法 vs “大胆”重做交互
两个模型 · 同一要求	需求、验收、给 Agent 的说明	从 DSH 已配置的模型里选两个

插件负责处理繁琐环节：两版从同一基线出发（含未提交改动），各自进入隔离的 git worktree 副本，独立安装、构建、占端口并行运行，并用同一套与基线内容绑定的验收配置检查；只有通过验收的版本才能采用，写入前后都会核对目标仓库状态。

快速使用

以下适用于自行运行的 DSH Web profile；桌面版的 desktop profile 由应用管理，请走应用的插件页面。

1. 安装 npm 包到默认 Web profile：

   dsh plugin --profile web add dsh-agent-compare@1.1.0
   

   使用其他自行运行的 profile 时把 web 换成实际名称。也可以从源码构建并安装 tarball：

   git clone https://github.com/lijiaqi-AI-Product-Manager/dsh-agent-compare.git
   cd dsh-agent-compare
   npm ci
   npm pack
   dsh plugin --profile <你的 profile> add ./dsh-agent-compare-1.1.0.tgz
   

2. 重启 DSH，在主对话输入框左下角点击 A|B。

3. 选择“同一模型 · 两种策略”或“两个模型 · 同一要求”，并设置每版生成上限（5–120 分钟）。

4. 在原输入框写需求并发送。

5. 出现 A/B 卡片，两个小窗口是真实运行的应用。交互体验后可切换视口或专注 A/B，选定后揭晓策略、实际模型和 token 用量。

6. 展开代码改动，点“审查并采用”，先核对目标仓库与核验结果，确认后才写入。采用后点“继续主对话”退出比较模式。

设置条中的“试跑内置示例”可直接新建独立示例仓库体验流程，提供基础的搜索与清空，或完整的组合筛选与手机适配两套示例。

配置与自定义验收

可在 profile 的 cordis.patch.yml 中按插件 id 追加配置：

- id: agent-compare
  name: dsh-agent-compare
  config:
    generationMinutes: 20

键	默认值	说明
generationMinutes	30	每个候选的生成时间预算
maxActiveRuns	1	同时生成的比较轮数
isolation	own-root	shared-root 为实验性的旧方式
home	~/.dsh/agent-compare	记录、补丁、截图和副本的位置

仓库根目录的 .agent-compare.json 可以添加脚本化浏览器验收和额外受保护文件。配置在生成前严格校验，未知字段、不存在的脚本、非法步骤和跨来源路径会直接报错；验收读取基线版本，候选修改它不算通过。完整示例见 examples/vite-react-demo/.agent-compare.json。

使用约束

• 目前只支持仓库根目录的 Vite 项目，且必须是至少有一次提交的 Git 仓库。
• 主要开发基线为 Node 26.13.0，CI 同时覆盖 Node 22、24 维护线的最新补丁版。
• 已记录通过 Windows 11 上的 DSH 0.2.1-rc.3 桌面版和 0.2.1-rc.5 Web UI；Linux 核心回归在 CI 中通过，macOS 尚未实测。
• DSH 官方将 Windows 沙箱标为 partial；插件要求宿主提供 workspace-write 约束，没有约束就停止，不会退回无约束执行。
• 有锁文件时依赖始终冻结安装，没有锁文件的项目会明确提示。
• 浏览器状态未完全隔离：嵌入 Cookie、外部后端和共享数据库暂不支持，网络访问与进程可见性也不隔离。
• 单次比较的结果不代表模型或策略的整体优劣。
• 许可证为 MIT。

HotRepo 点评

该项目在 2026-11-05 出现在 HotRepo 的 TypeScript 新项目榜，记录为 104 Star，约一小时的观察窗口内净增 4 Star；尚未进入全语言日榜。README 对已验证与未验证部分的区分相当具体，分别标注了真实模型运行、脚本化适配器运行和 CI 回归。即便不安装插件，这份记录也可作为参考：如何让两个候选 Agent 在隔离副本中运行、绑定基线验收，并在采用和回滚时保证工作区一致。