NVIDIA/TensorRT-LLM

项目介绍

TensorRT LLM 是 NVIDIA 开源的推理加速库，目标是在 NVIDIA GPU 上高效运行大语言模型和视觉生成模型。它由三部分组成：针对 attention、GEMM、MoE 等常见算子的定制 kernel；预填充-解码分离、宽专家并行、投机解码等运行时优化；以及高层 Python LLM API，覆盖从单卡到多机多卡的部署场景。

项目基于 PyTorch 构建，模型用原生 PyTorch 代码定义，便于修改和实验，也能与 NVIDIA Dynamo、Triton Inference Server 等推理生态集成。DeepSeek 等热门模型配有专门示例。它面向的是在 NVIDIA 硬件上做推理部署的团队，而不是寻找聊天应用的终端用户。

快速使用

README 没有直接给出安装命令，官方入口是快速开始指南和安装指南。典型流程如下：

1. 先在支持矩阵中确认 GPU、CUDA、PyTorch 和 Python 版本是否匹配。
2. 按安装指南完成安装，再确认 LLM API 和模型示例可用。
3. 运行快速开始示例，或运行模型专属示例，例如 examples/models/core/deepseek_v3 下的 DeepSeek 示例。
4. 需要对外提供服务时使用 trtllm-serve；性能测试方法见性能指南。

使用约束

• 需要 NVIDIA GPU，且 CUDA、PyTorch、Python 版本要落在支持范围内，具体组合以支持矩阵为准。
• 投机解码、宽专家并行等优化依赖较新的 GPU 架构，是否可用取决于 GPU 代际和具体模型。
• 默认开启遥测，采集匿名使用和配置数据。可通过环境变量（TRTLLM_NO_USAGE_STATS=1、DO_NOT_TRACK=1、TELEMETRY_DISABLED=true）、文件 ~/.config/trtllm/do_not_track、TelemetryConfig(disabled=True)，或在 trtllm-serve、trtllm-bench、trtllm-eval 上加 --no-telemetry 关闭。
• 被弃用的 API 有 3 个月迁移期，期间仍可使用但会给出警告，之后按语义化版本移除。
• README 徽章显示项目采用 Apache 2.0 许可证。

HotRepo 点评

在 2026-11-06 的 Python 日榜中，项目记录到第 4 名，当日新增 10 星，总星数 15,026、Fork 2,913。对这样体量的项目来说，单日增量不算大，而且目前只有一条快照，不足以判断趋势。更有参考价值的是 2025 年 3 月 HN 上关于运行时开源的讨论：有评论者指出，此前以二进制形式分发的 Executor 组件负责请求调度和 KV cache 管理，功能上对应 vLLM 或 SGLang 的服务器部分。这有助于理解这次开源对自托管推理实际改变了什么。