搜索你想找的开源项目

输入名称、用途或关键词,也可粘贴 GitHub 仓库链接

分享到微信

当前解读页的微信分享二维码

用微信扫一扫打开,点击右上角「···」分享给朋友或朋友圈。

手机上可截屏后,在微信扫一扫中从相册识别二维码。

vllm-project/vllm-ascend

机器学习

在华为昇腾 NPU 上运行 vLLM 推理的硬件插件,支持大模型与多模态模型的部署服务。

3,108
2,761
Python
Apache-2.0
创建于 1 年前

项目介绍

vLLM Ascend 是社区维护的 vLLM 硬件插件,用于在华为昇腾 NPU 上运行 vLLM。它遵循 vLLM 的硬件可插拔 RFC,把昇腾后端与 vLLM 核心解耦,支持 Transformer 类模型、混合专家(MoE)模型、Embedding 模型和多模态大模型 Overview。适用对象是需要把大模型推理部署在昇腾硬件、而不是 GPU 上的团队。

前置条件

支持的硬件包括 Atlas 800I A2/A3 系列、Atlas 300I Duo 以及 950PR/950DT,操作系统为 Linux。软件需要成套匹配:Python 3.12、CANN 9.2.1(对应的昇腾 HDK 版本可查阅 Release Notes)、PyTorch 2.10.0 与 TorchNPU 2.10.0.post7,vLLM 版本必须与所装 vllm-ascend 版本一致 Prerequisites。模型与功能覆盖范围见 Support Matrix。

快速使用

  1. 先确认机器满足上面的硬件和软件前置条件,并按昇腾 HDK 版本核对 CANN。
  2. 选择版本。维护者推荐最新稳定版 v0.30.0,v0.23.0 也列为稳定版本 Getting Started。
  3. 按对应版本的官方说明安装插件,安装时会匹配相应 vLLM 构建:安装文档。
  4. 再按该版本的 QuickStart 启动带昇腾插件的 vLLM,验证模型可以正常服务请求。

如果没有昇腾 NPU 资源,README 提供了 HiDevLab 在线开发入口申请使用 HiDevLab。具体的 pip/容器命令和启动输出随版本不同,位于上述安装和 QuickStart 页面,README 中没有展开。

版本与分支

main 分支跟随 vLLM 主干,并有 CI 针对 vLLM main 和 v0.33.0 tag 做质量验证。每个 vLLM 版本对应一个 releases/vX.Y.Z 开发分支;v0.13.0/0.18.0/0.23.0/0.30.0 仍在维护,其中 v0.13.0 只接受 bug 修复 Branch。插件版本要与所运行的 vLLM 版本对应,升级任一方前先看版本策略。新功能在 rfc/<feature-name> 分支上协作开发。

使用约束

这是服务端推理栈,需要昇腾硬件和完整的 CANN/PyTorch/vLLM 工具链,且插件与 vLLM 版本必须配套,两者应一起升级。开发、测试和求助走贡献指南、Issue 和用户论坛;周会时间为每周三 15:00–16:00(UTC+8)Weekly Meeting。项目采用 Apache-2.0 许可证 LICENSE。

HotRepo 点评

该项目出现在 HotRepo 2026-11-18 的 Python 日榜快照中,当日最好名次为第 13,新增 13 Star,累计 3,105 Star、2,758 Fork。对一个硬件插件来说,Fork 数与 Star 数接近值得注意,说明不少人是在克隆并适配自己的昇腾部署,而不只是点星。目前只有一条日榜快照,不足以判断增长趋势,但这一名次说明它当天在 Python 仓库中获得了关注。

本文由 AI 根据项目 README 生成,更新于 ,以项目官方文档为准。

相关推荐

  1. vllm-project/vllm给自建 LLM 服务的团队提供高吞吐推理与在线批处理能力。Python95,320
  2. kserve/kserve在 Kubernetes 上以统一、可自动扩缩的方式部署大模型与传统模型推理服务。Go6,173
  3. sgl-project/sglang面向需要大规模、多硬件后端、快速跑 LLM、VLM 与扩散模型推理的团队。Python37,754
  4. deepseek-ai/DeepInfer面向已确定用 DeepSeek-V4.1-Flash 做大规模服务的团队,提供官方自家推理栈,限定 NVIDIA 或昇腾硬件。Python21,703
  5. deepseek-ai/FlashMLA面向在新型 NVIDIA 或昇腾硬件上部署 DeepSeek 模型的团队,提供 MLA 与稀疏注意力的生产级算子。C++13,180