[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"$fivjxr931evhs":3},{"code":4,"message":5,"data":6,"timestamp":32},10000,"success",{"full_name":7,"position":8,"description":9,"language":10,"stars":11,"forks":12,"stars_gained":13,"age_days":14,"hn_threads":15,"one_liner":22,"summary_md":23,"topic":24,"github_topics":27,"license":28,"homepage":29,"updated_at":30,"history":31},"deepseek-ai\u002FDeepInfer",1,"DeepInfer: High-performance, large-scale inference framework for DeepSeek models","Python",21741,2469,2571,8,[16],{"id":17,"title":18,"points":19,"comments":20,"posted_at":21},50163277,"DeepInfer: High-performance inference framework for DeepSeek models",2346,891,"2026-10-20","面向已确定用 DeepSeek-V4.1-Flash 做大规模服务的团队，提供官方自家推理栈，限定 NVIDIA 或昇腾硬件。","## 解决什么问题\n把前沿 MoE 模型跑到生产规模，和在一块卡上跑小模型是两回事：需要带负载均衡的专家并行、大 KV cache 下不塌的长上下文 prefill，以及并发升高时仍然扛得住的解码。通用推理服务器都能做这些，但只为「都能做」而不是为某一个模型做到最好，kernel、调度、并行布局都是面向多模型折中的。DeepInfer 是 DeepSeek 自家的服务栈，这次开源的是离线推理部分，包含大规模服务所需的核心引擎能力。\n\n## 有什么不同\n它的前提是只服务一个模型家族 DeepSeek-V4.1-Flash，这种窄是刻意的。并行方案（attention DP 加均衡 CP、MoE EP 加 EPLB）、自研 kernel（FlashMLA、DeepGEMM、DeepEP、TileLang kernel）以及 DSpark 这类投机解码验证，都是针对同一套架构一起设计的。README 说明它最初基于 vLLM，并参考了 SGLang 和 TensorRT-LLM，所以大量机制看起来不会陌生——差别在调优深度，不在架构路线。真正少见的是两点：batch-invariant 推理和确定性采样，保证不同 batch 组成下输出一致，多数服务栈并不提供这种可复现性。\n\n## 适合谁\n已经决定服务 DeepSeek-V4.1-Flash、并且手上有 NVIDIA SM100 或华为昇腾 950 的团队。对想直接看厂商生产环境参考实现的基础设施工程师有用，对需要逐位可复现解码的研究者也值得一看。其他人可以绕道：它不是覆盖整个模型库的 vLLM 替代品，不是本地或单卡工具；README 明确说完整服务还缺 KV cache 系统、prefill\u002Fdecode 分离部署和跨数据并行副本的负载均衡，这些都不在本次发布里。\n\n## 上手成本\n不低。仅支持 Linux，需要 GCC 13+、Python 3.12、CUDA 13 或 CANN 9.2，通过 `.\u002Fbuild.sh` 从源码构建，并预先导出 `DEEPINFER_ACCELERATOR`。README 的基准测试在 4 张 SM100 上测 prefill、64 张测 decode，基本说明了目标硬件量级。checkpoint 首次运行从 Hugging Face 下载。项目才发布 8 天，README 可用但对运维细节着墨很少，缺失的服务组件意味着真正的部署工作仍要自己做。Apache-2.0 协议宽松，限制不在授权，而在硬件和工程人力。\n\n## 点评\n8 天拿到约 2.17 万 star，平均每天 +2,613，新项目榜排到第 2，Hacker News 上还有一条 2,346 分的讨论帖。这是 DeepSeek 品牌带来的发布脉冲，不是长期积累；HotRepo 在 2026 年 10 月下旬之前没有它的任何记录，也无历史维护信号可参考。工程质量可信，毕竟是厂商自己的栈，但应把它看作针对特定模型、特定加速卡的参考实现，而非通用推理服务器。已经在大规模跑 DeepSeek 的团队值得读一读、和 vLLM 做基准对比；临时起意的团队不建议采用。",{"slug":25,"name":26},"machine-learning","机器学习",[],"Apache-2.0",null,"2026-10-24T17:05:24Z",[],1792868529]