eagle-hq/EAGLE-4

解决什么问题

投机解码本身不新鲜，难的是把加速开到真实流量上。常见的 draft model 只为某个 batch 大小、某套硬件调好参数，请求一多或换卡，接受率就掉、draft tree 也排不对，团队只能关掉投机解码，或者给每种负载单独维护一套配置。EAGLE-4 的思路是同时提供 draft 模型和 eagle-harness 运行时：harness 先在你的环境里测出 draft 的实际开销，再据此决定投机深度，让 draft tree 匹配当前的 batch size、硬件和负载。

有什么不同

多数投机解码方案在启动时就把 draft 步数和树形状写死，无论服务 1 个请求还是 64 个请求都用同一套。EAGLE-4 的卖点正是反向取舍：它按实测代价自适应，并声称高并发下仍能与普通解码持平，而不是只在单请求场景里有效。项目还强调 draft 的输出与目标模型完全一致，加速不改变答案；接入方式是给已有的 SGLang、vLLM、TokenSpeed 加算法，而不是另起一套服务栈，另外还有 AMD MI355X 的支持路径。除了这些，README 更像发布公告：仓库里是 harness 和引擎适配，方法论细节要看论文和 support matrix，算法上的说法需要自行核对。

适合谁

已经在用 SGLang 或 vLLM 部署 Qwen3.8-27B 这类开放权重模型、手里有 NVIDIA B300 级或 AMD MI355X 硬件的团队，愿意自己跑校准、希望在不改变输出的前提下拿到延迟和吞吐收益，适合这一类。前提是能接受固定版本的引擎分支并自己验证。消费级显卡、CPU、小显存环境不合适；想改模型质量或做训练的也不合适，这个发布只关乎推理速度。如果只想要不加验证的即插即用加速，等 support matrix 覆盖你的模型和引擎版本再说。

上手成本

不低。快速开始只在 Linux、CUDA 13 驱动和单张 NVIDIA B300 上测试过；pip 安装需要 Python 3.12，还要 CUDA toolkit 和 C++ 编译器。示例模型加 draft 第一次启动要下载约 62 GB。pip 用户必须从自定义 wheel 源安装 fork 过的 sglang，后续升级引擎并不轻松。更大的成本在许可：README 明确说明这是 source-available，不是 OSI 认可的开源，做竞争性产品要单独商业授权，其他商业用途还有 12 个月累计 2000 万美元营收的门槛。这属于法务和采购问题，会直接挡掉不少公司。

点评

项目才 4 天，约 967 star，在 HotRepo 新项目榜上日均 +217、排第 11，是典型的发布期冲高，还谈不上积累。Hacker News 那个帖子只有 2 分、0 评论，外部关注度目前很薄。EAGLE 是一条真实的研究线（EAGLE-2、EAGLE-3 都被引用），但这次的加速数字全来自厂商自己的四卡环境，仓库本身也只是围绕引擎 fork 的薄封装。可以当作值得在自己负载上做一次评估的新东西，而不是生产级基础设施；最终决定部署与否的，大概率是 source-available 许可，而不是那些加速倍数。