[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"$f18ft918w7td2y":3},{"code":4,"message":5,"data":6,"timestamp":39},10000,"success",{"full_name":7,"position":8,"description":9,"language":10,"stars":11,"forks":12,"stars_gained":13,"age_days":14,"hn_threads":15,"one_liner":22,"summary_md":23,"topic":24,"github_topics":27,"license":35,"homepage":36,"updated_at":37,"history":38},"eagle-hq\u002FEAGLE-4",13,"Official Inference Code of EAGLE-4","Python",973,34,207,4,[16],{"id":17,"title":18,"points":19,"comments":20,"posted_at":21},50184118,"A new Speculative decoding drafter for vLLM and SGLang called EAGLE-4",2,0,"2026-10-21","给 SGLang、vLLM、TokenSpeed 用的投机解码 drafter 与 harness，让加速在不同 batch 和硬件上都有效。","## 解决什么问题\n投机解码本身不新鲜，难的是把加速开到真实流量上。常见的 draft model 只为某个 batch 大小、某套硬件调好参数，请求一多或换卡，接受率就掉、draft tree 也排不对，团队只能关掉投机解码，或者给每种负载单独维护一套配置。EAGLE-4 的思路是同时提供 draft 模型和 `eagle-harness` 运行时：harness 先在你的环境里测出 draft 的实际开销，再据此决定投机深度，让 draft tree 匹配当前的 batch size、硬件和负载。\n\n## 有什么不同\n多数投机解码方案在启动时就把 draft 步数和树形状写死，无论服务 1 个请求还是 64 个请求都用同一套。EAGLE-4 的卖点正是反向取舍：它按实测代价自适应，并声称高并发下仍能与普通解码持平，而不是只在单请求场景里有效。项目还强调 draft 的输出与目标模型完全一致，加速不改变答案；接入方式是给已有的 SGLang、vLLM、TokenSpeed 加算法，而不是另起一套服务栈，另外还有 AMD MI355X 的支持路径。除了这些，README 更像发布公告：仓库里是 harness 和引擎适配，方法论细节要看论文和 support matrix，算法上的说法需要自行核对。\n\n## 适合谁\n已经在用 SGLang 或 vLLM 部署 Qwen3.8-27B 这类开放权重模型、手里有 NVIDIA B300 级或 AMD MI355X 硬件的团队，愿意自己跑校准、希望在不改变输出的前提下拿到延迟和吞吐收益，适合这一类。前提是能接受固定版本的引擎分支并自己验证。消费级显卡、CPU、小显存环境不合适；想改模型质量或做训练的也不合适，这个发布只关乎推理速度。如果只想要不加验证的即插即用加速，等 support matrix 覆盖你的模型和引擎版本再说。\n\n## 上手成本\n不低。快速开始只在 Linux、CUDA 13 驱动和单张 NVIDIA B300 上测试过；pip 安装需要 Python 3.12，还要 CUDA toolkit 和 C++ 编译器。示例模型加 draft 第一次启动要下载约 62 GB。pip 用户必须从自定义 wheel 源安装 fork 过的 `sglang`，后续升级引擎并不轻松。更大的成本在许可：README 明确说明这是 source-available，不是 OSI 认可的开源，做竞争性产品要单独商业授权，其他商业用途还有 12 个月累计 2000 万美元营收的门槛。这属于法务和采购问题，会直接挡掉不少公司。\n\n## 点评\n项目才 4 天，约 967 star，在 HotRepo 新项目榜上日均 +217、排第 11，是典型的发布期冲高，还谈不上积累。Hacker News 那个帖子只有 2 分、0 评论，外部关注度目前很薄。EAGLE 是一条真实的研究线（EAGLE-2、EAGLE-3 都被引用），但这次的加速数字全来自厂商自己的四卡环境，仓库本身也只是围绕引擎 fork 的薄封装。可以当作值得在自己负载上做一次评估的新东西，而不是生产级基础设施；最终决定部署与否的，大概率是 source-available 许可，而不是那些加速倍数。",{"slug":25,"name":26},"machine-learning","机器学习",[28,29,30,31,32,33,34],"eagle","gpu","llm-inference","sglang","speculative-decoding","tokenspeed","vllm","NOASSERTION","https:\u002F\u002Feagle.ai","2026-10-25T01:05:58Z",[],1792922333]