Aevonix/FlashAlign
机器学习按请求或全局为受支持的本地大模型套用 abliteration 对齐档,不永久修改模型权重。
项目介绍
FlashAlign 在推理阶段给受支持的基础模型和量化模型叠加对齐档,而不是永久改写权重。1.1.1 版自带的初始档以降低拒答为主,后续方向也包括对公开或高风险任务提高拒答。档位是绑定具体 checkpoint 的 tensor 载荷:四个紧凑档位随仓库提供,DeepSeek 档位是 1.09 GB 的载荷,安装时从公开 release 拉取并校验 checksum。初始档分别基于 Keys、OrcaRouter、Dealign 和 MoonMath 的 abliterated checkpoint,精确版本见档位来源清单。
核心设计是按范围生效。Verified contacts 模式下,档位只作用于来自已批准渠道、账号和联系人的消息,项目把这一点解释为降低被削弱的模型遭提示注入滥用的风险。Always On 则把配置档位套用到经 FlashAlign 转发的所有请求,包括工具和子代理请求,且重启后保留。目标用户是运行 Hermes、OpenClaw、自建 harness 或用 OpenAI 兼容客户端连接 vLLM、TensorFold、SGLang、llama.cpp 等本地推理引擎的人。
快速使用
先下载受支持的模型,模型下载指南给出了五个初始档位的固定命令。然后在仓库根目录运行向导:
bash ./install.sh --auto
向导会检测本地模型和 harness,选择匹配档位,准备引擎并生成部署签名密钥;随后要求选择 Verified contacts 或 Always On,若选前者还要决定工具是否继承档位。聊天集成会重启其选定的网关。若只想连接已在运行的引擎,去掉 --auto 直接运行 bash ./install.sh;单独配置本地 Qwen 的示例如下:
bash ./install.sh --engine-only --backend vllm --model-path /models/qwen38-27b --yes
改动前可用 bash ./install.sh --detect 检查环境,或用 --profiles /path/to/profiles 指定其他档位目录。批准联系人和切换模式通过 hermes-owner-mode/manage.py 完成,例如批准一个 WhatsApp 联系人或用 mode always_on 切换模式。引擎返回的 effective-profile 响应可确认所选档位已生效。开始前先在兼容性文档确认模型与引擎的搭配。
使用约束
- 推理主机需为 Linux 加 NVIDIA GPU;TensorFold 包要求 CPU 与 GPU 架构匹配。安装和适配器需要 Python 3.10 及以上。
- 引擎必须已加载匹配的档位。已加载档位之间可按请求切换,但加载新模型或新档位需提前进行,可能要求重启引擎。
- 各 harness 支持方式不同:Hermes 使用原生入口、请求和工具执行钩子;OpenClaw 需要其原生插件 API 及特定的 Node 24.x/26.x 版本;自建集成需遵循引擎契约和 OpenAI 兼容 Chat Completions。
- FlashAlign 只控制经过其路由或网关地址的模型调用。工具执行权限和消息发送方授权仍由 harness 负责,已授权请求内的工具输出仍依赖 harness 的防护。
- 内置消息适配器覆盖 WhatsApp 和 RCS 直聊,外加可选开启的 SMS 和 Telegram;本地终端会话在 V1 中仅支持文本,且限 Hermes 与 OpenClaw。
- 软件采用 AGPL-3.0-only,另有商业许可可供闭源产品使用。模型、档位和依赖的条款独立于项目许可证,贡献者需接受授予 Aevonix 商业权利的 CLA。
HotRepo 点评
在 2026-11-02 的 Python 新项目榜上,FlashAlign 在约六小时内新增 13 个 Star,采样曲线从 101 升至 114。这是一段较短的窗口,也没有记录到全部语言日榜名次,所以数据只能说明早期关注度,不足以判断热度走势。更值得看的是它的范围控制思路:把 abliteration 档位绑定到已验证联系人和渠道,并随档位提供测量结果和自行跑基准的文档,让对齐讨论有具体可核查的对象。
本文由 AI 根据项目 README 生成,更新于 ,以项目官方文档为准。