vllm-project/vllm-ascend
机器学习在华为昇腾 NPU 上运行 vLLM 推理的硬件插件,支持大模型与多模态模型的部署服务。
项目介绍
vLLM Ascend 是社区维护的 vLLM 硬件插件,用于在华为昇腾 NPU 上运行 vLLM。它遵循 vLLM 的硬件可插拔 RFC,把昇腾后端与 vLLM 核心解耦,支持 Transformer 类模型、混合专家(MoE)模型、Embedding 模型和多模态大模型 Overview。适用对象是需要把大模型推理部署在昇腾硬件、而不是 GPU 上的团队。
前置条件
支持的硬件包括 Atlas 800I A2/A3 系列、Atlas 300I Duo 以及 950PR/950DT,操作系统为 Linux。软件需要成套匹配:Python 3.12、CANN 9.2.1(对应的昇腾 HDK 版本可查阅 Release Notes)、PyTorch 2.10.0 与 TorchNPU 2.10.0.post7,vLLM 版本必须与所装 vllm-ascend 版本一致 Prerequisites。模型与功能覆盖范围见 Support Matrix。
快速使用
- 先确认机器满足上面的硬件和软件前置条件,并按昇腾 HDK 版本核对 CANN。
- 选择版本。维护者推荐最新稳定版 v0.30.0,v0.23.0 也列为稳定版本 Getting Started。
- 按对应版本的官方说明安装插件,安装时会匹配相应 vLLM 构建:安装文档。
- 再按该版本的 QuickStart 启动带昇腾插件的 vLLM,验证模型可以正常服务请求。
如果没有昇腾 NPU 资源,README 提供了 HiDevLab 在线开发入口申请使用 HiDevLab。具体的 pip/容器命令和启动输出随版本不同,位于上述安装和 QuickStart 页面,README 中没有展开。
版本与分支
main 分支跟随 vLLM 主干,并有 CI 针对 vLLM main 和 v0.33.0 tag 做质量验证。每个 vLLM 版本对应一个 releases/vX.Y.Z 开发分支;v0.13.0/0.18.0/0.23.0/0.30.0 仍在维护,其中 v0.13.0 只接受 bug 修复 Branch。插件版本要与所运行的 vLLM 版本对应,升级任一方前先看版本策略。新功能在 rfc/<feature-name> 分支上协作开发。
使用约束
这是服务端推理栈,需要昇腾硬件和完整的 CANN/PyTorch/vLLM 工具链,且插件与 vLLM 版本必须配套,两者应一起升级。开发、测试和求助走贡献指南、Issue 和用户论坛;周会时间为每周三 15:00–16:00(UTC+8)Weekly Meeting。项目采用 Apache-2.0 许可证 LICENSE。
HotRepo 点评
该项目出现在 HotRepo 2026-11-18 的 Python 日榜快照中,当日最好名次为第 13,新增 13 Star,累计 3,105 Star、2,758 Fork。对一个硬件插件来说,Fork 数与 Star 数接近值得注意,说明不少人是在克隆并适配自己的昇腾部署,而不只是点星。目前只有一条日榜快照,不足以判断增长趋势,但这一名次说明它当天在 Python 仓库中获得了关注。
本文由 AI 根据项目 README 生成,更新于 ,以项目官方文档为准。
相关推荐
- vllm-project/vllm给自建 LLM 服务的团队提供高吞吐推理与在线批处理能力。
- kserve/kserve在 Kubernetes 上以统一、可自动扩缩的方式部署大模型与传统模型推理服务。
- sgl-project/sglang面向需要大规模、多硬件后端、快速跑 LLM、VLM 与扩散模型推理的团队。
- deepseek-ai/DeepInfer面向已确定用 DeepSeek-V4.1-Flash 做大规模服务的团队,提供官方自家推理栈,限定 NVIDIA 或昇腾硬件。
- deepseek-ai/FlashMLA面向在新型 NVIDIA 或昇腾硬件上部署 DeepSeek 模型的团队,提供 MLA 与稀疏注意力的生产级算子。