运行 Nsight Systems 分析并解读时间线报告,找出 GPU 空闲时间和 NCCL 重叠问题。
NVIDIA/TensorRT-LLM
指导 AI 编程助手在 NVIDIA GPU 上构建、测试、分析和优化 TensorRT-LLM 推理。
- 38 个技能
- 1.5万 Star
装得最多的 5 个
按 skills.sh 上的安装次数排- perf-nsight-systems41次安装
解读 Nsight Compute 报告,从 SOL、roofline、占用率、内存和 warp 停顿角度归类瓶颈。
编写并验证 OpenAI Triton 内核,如融合逐元素、归约、分块 GEMM 和注意力。
- perf-optimization18次安装
将性能工作分派给合适的专项技能,并按安全顺序应用优化或内核改动。
为 PyTorch 工作负载应用 CUDA Graphs,选择合适的 API 并处理捕获与重放问题。
其余 33 个技能
- perf-torch-sync-free15次安装
找出并消除 PyTorch 代码中拖慢 GPU 的主机与设备同步点。
为训练循环或内核添加计时代码,并为分析器时间线标注代码区域。
- kernel-cute-writing11次安装
用 NVIDIA CuTe DSL 编写 GPU 内核,涵盖逐元素、GEMM、归约、张量核心和流水线。
- perf-analysis10次安装
统筹性能分析,归类瓶颈并生成结构化的分析报告。
为基本的单节点 PyTorch 服务生成有据可依的 trtllm-serve YAML 配置。
为 Blackwell GPU 上的 TileIR 后端调优现有 Triton 内核,调整占用率和 TMA 配置。
检查本机是否有 GPU、Docker 或 Slurm 访问权限,并给出适合的运行方式。
在 GPU 计算节点上的 Docker 容器里编译 TensorRT-LLM。
在 Docker 中后台运行 TensorRT-LLM 任务,并从日志中汇报结果。
在本地集群提交并监控 Slurm 作业,多次运行时复用同一份资源分配。
通过 SSH 在远程 Slurm 集群上运行和分析作业,支持文件传输和会话保持。
在 Slurm 集群上提交容器化批处理作业来编译 TensorRT-LLM 并验证构建结果。
编写用于将新模型接入智能体建模流程的任务说明文件。
通过基准测试、SOL 预估和逐内核分析诊断 TensorRT-LLM 服务性能,指出主要瓶颈。
分析 nsys 跟踪记录,判断 CPU 开销是否拖慢 TensorRT-LLM 推理及其来源。
通过反复分析、优化和验证,降低 TensorRT-LLM 的 CPU 开销。
将性能不稳定的现象与已知的 TensorRT-LLM 不稳定模式及修复方法对照。
针对特定瓶颈、配置或硬件推荐已验证的 TensorRT-LLM 优化方案,并说明风险和回退方式。
运行迭代优化流程,对 TensorRT-LLM 服务逐项进行基准测试、分析和优化。
将疑似性能回退与已知的 TensorRT-LLM 回退模式及历史修复方法对照。
检查运行环境并选择合适的 Docker 镜像,运行 TensorRT-LLM 测试、基准或脚本。
指导你向 TensorRT-LLM 贡献代码,从 fork、签署 DCO 到测试和准备评审。
让助手先摸清 TensorRT-LLM 代码库,复用已有代码而不是重复实现。
获取最新的 flashinfer-python 版本,让你选择后更新仓库中所有相关引用。
把 HuggingFace 多模态模型(图像、音频、视频加文本)接入 TensorRT-LLM 的 PyTorch 后端。
指导实现、修改或验证 TensorRT-LLM ModelingV2 目录条目及其 GPU 测试。
说明 KV 缓存复用、投机解码等 TensorRT-LLM 特性由哪个引擎阶段负责,以及目标需要满足什么。
为设计、实现、评审或调试 TensorRT-LLM 的 PyTorch MoE 代码提供检查清单。
为 TensorRT-LLM 任务生成 Slurm 脚本或 Docker 命令,并确定镜像、挂载和并行参数。
分类并运行 TensorRT-LLM 的模型级和模块级测试,按需询问并行、数据集和设备设置。
端到端测试 TensorRT-LLM VisualGen 模型性能,包括启动所需的 trtllm-serve 服务。
在 CI 失败或输出有意变更后更新 VisualGen LPIPS 基准图片或视频,并重新验证测试。
为 DiT、VAE、文本编码器、调度器、量化和缓存设计并运行可复现的 VisualGen 组件测试。