deepseek-ai/DeepInfer

解决什么问题

把前沿 MoE 模型跑到生产规模，和在一块卡上跑小模型是两回事：需要带负载均衡的专家并行、大 KV cache 下不塌的长上下文 prefill，以及并发升高时仍然扛得住的解码。通用推理服务器都能做这些，但只为「都能做」而不是为某一个模型做到最好，kernel、调度、并行布局都是面向多模型折中的。DeepInfer 是 DeepSeek 自家的服务栈，这次开源的是离线推理部分，包含大规模服务所需的核心引擎能力。

有什么不同

它的前提是只服务一个模型家族 DeepSeek-V4.1-Flash，这种窄是刻意的。并行方案（attention DP 加均衡 CP、MoE EP 加 EPLB）、自研 kernel（FlashMLA、DeepGEMM、DeepEP、TileLang kernel）以及 DSpark 这类投机解码验证，都是针对同一套架构一起设计的。README 说明它最初基于 vLLM，并参考了 SGLang 和 TensorRT-LLM，所以大量机制看起来不会陌生——差别在调优深度，不在架构路线。真正少见的是两点：batch-invariant 推理和确定性采样，保证不同 batch 组成下输出一致，多数服务栈并不提供这种可复现性。

适合谁

已经决定服务 DeepSeek-V4.1-Flash、并且手上有 NVIDIA SM100 或华为昇腾 950 的团队。对想直接看厂商生产环境参考实现的基础设施工程师有用，对需要逐位可复现解码的研究者也值得一看。其他人可以绕道：它不是覆盖整个模型库的 vLLM 替代品，不是本地或单卡工具；README 明确说完整服务还缺 KV cache 系统、prefill/decode 分离部署和跨数据并行副本的负载均衡，这些都不在本次发布里。

上手成本

不低。仅支持 Linux，需要 GCC 13+、Python 3.12、CUDA 13 或 CANN 9.2，通过 ./build.sh 从源码构建，并预先导出 DEEPINFER_ACCELERATOR。README 的基准测试在 4 张 SM100 上测 prefill、64 张测 decode，基本说明了目标硬件量级。checkpoint 首次运行从 Hugging Face 下载。项目才发布 8 天，README 可用但对运维细节着墨很少，缺失的服务组件意味着真正的部署工作仍要自己做。Apache-2.0 协议宽松，限制不在授权，而在硬件和工程人力。

点评

8 天拿到约 2.17 万 star，平均每天 +2,613，新项目榜排到第 2，Hacker News 上还有一条 2,346 分的讨论帖。这是 DeepSeek 品牌带来的发布脉冲，不是长期积累；HotRepo 在 2026 年 10 月下旬之前没有它的任何记录，也无历史维护信号可参考。工程质量可信，毕竟是厂商自己的栈，但应把它看作针对特定模型、特定加速卡的参考实现，而非通用推理服务器。已经在大规模跑 DeepSeek 的团队值得读一读、和 vLLM 做基准对比；临时起意的团队不建议采用。