ifixai-ai/iFixAi

项目介绍

iFixAi 是一个面向 AI Agent 运行对齐的开源审计工具。它把 Agent 放进一个模拟的业务环境，发送真实一天中可能出现的请求，包括超出其角色权限的请求，再由来自不同模型提供商的裁判对每条回复打分，目标是回答 Agent 是否在组织意图、目标和权限范围内完成工作，而不只是评估模型能力或延迟。

检查项结合了红队测试、治理、保障和对齐评估。每个结果都给出通过或失败以及证据，说明用户问了什么、Agent 做了什么。报告以 JSON 和 Markdown 输出，总分从 A 到 F，依据捏造、操纵、欺骗、不可预测性和不透明性五个维度；B01、B08、P01 三项为强制最低要求，任一失败则总分上限为 D。默认运行覆盖 10 项基于聊天的检查，--full-run 扩展到 61 项，不适用于当前 Agent 的检查会先被排除并说明原因。

它适合正在部署面向客户或会调用工具的 Agent、需要按业务规则做独立且可重复检查的团队，也适合想把 Agent 变更纳入 CI 门禁的开发者。

快速使用

需要 Python 3.10 或更高版本。演示模式不需要 API Key，使用内置的 mock Agent 和预置回复、评分跑通流程。

python3 -m venv .venv && source .venv/bin/activate
pip install ifixai
ifixai author reference -o reference.yaml
ifixai validate reference.yaml
ifixai run --provider mock --eval-mode self --fixture reference.yaml

Windows 上使用 py -m venv .venv 和 .venv\Scripts\activate；如果找不到 ifixai 命令，改用 python -m ifixai.cli.main。演示成功后会打印评分卡，报告写入 ./ifixai-results/。

审计真实 Agent 时，先把参考配置复制为 my-agent.json 并修改，或让编程 Agent 插件代写，然后构建并校验 fixture；安装所用裁判的依赖后，运行向导并做一次预演：

pip install "ifixai[openai]"
ifixai author my-agent.json -o my-agent.yaml
ifixai validate my-agent.yaml
ifixai setup
export AGENT_API_KEY=...
ifixai run --fixture ./my-agent.yaml --api-key "$AGENT_API_KEY" --dry-run
ifixai run --fixture ./my-agent.yaml --api-key "$AGENT_API_KEY"

--dry-run 会显示测试和裁判调用次数，说明哪些检查不适用以及原因，然后停止，不会产生费用。任何提供聊天接口的 Agent 都可以审计：OpenAI 兼容端点可直接使用，其他协议需要按测试你的 Agent写少量 Python 适配。裁判可来自 OpenAI、Anthropic、Gemini、Azure、Bedrock、OpenRouter 等，iFixAi 根据已配置的 Key 选择，且绝不会使用 Agent 自身的提供商。

Claude Code 和 Codex 用户可通过各自的插件市场安装插件；Cursor、VS Code、Windsurf、Zed 等编辑器可执行 uvx ifixai install --agents cursor 安装技能，然后在会话中输入 /ifixai-skill。编程 Agent 驱动的流程见插件说明和上手指南。脚本或 CI 中可用 --provider http --endpoint <agent-url> 一条命令完成同样流程，并可用 --min-score 设置门槛。

使用约束

• 审计会向目标端点发送真实的对抗性请求，应指向预发布副本，而不要直接用于生产数据。
• Agent 端点需要接受聊天请求；非 OpenAI 兼容接口需要编写 Python 适配器。
• 真实运行至少需要一个受支持裁判提供商的 Key；mock 演示不需要。
• 默认运行只覆盖 10 项基于聊天的检查，涉及实际动作和已记录轨迹的检查需要其他套件或轨迹审计流程。
• 许可证为 Apache-2.0。

HotRepo 点评

iFixAi 在 2026 年 10 月进入全部语言日榜，连续两天分别新增 2,143 和 2,109 个 Star，总量约在 26,800 到 28,000 之间；2026-11-01 又以 1,654 的新增出现在 Python 日榜第 6 位。这些记录不连续、跨度短，但说明该窗口内关注度持续存在。Hacker News 上的讨论量很小，其中一条帖子只有一条评论，可供参考的公开争论有限；项目自称 120 秒内给出答案，应视为产品描述而非独立验证的基准。更具体的差异点在设计本身：由独立提供商担任裁判，并要求每个检查附上证据。