搜索你想找的开源项目

输入名称、用途或关键词,也可粘贴 GitHub 仓库链接
全部技能

NVIDIA/TensorRT-LLM

指导 AI 编程助手在 NVIDIA GPU 上构建、测试、分析和优化 TensorRT-LLM 推理。

  • 38 个技能
  • 1.5万 Star

装得最多的 5 个

按 skills.sh 上的安装次数排
  • 运行 Nsight Systems 分析并解读时间线报告,找出 GPU 空闲时间和 NCCL 重叠问题。

  • 解读 Nsight Compute 报告,从 SOL、roofline、占用率、内存和 warp 停顿角度归类瓶颈。

  • 编写并验证 OpenAI Triton 内核,如融合逐元素、归约、分块 GEMM 和注意力。

  • 将性能工作分派给合适的专项技能,并按安全顺序应用优化或内核改动。

  • 为 PyTorch 工作负载应用 CUDA Graphs,选择合适的 API 并处理捕获与重放问题。

其余 33 个技能
  • 找出并消除 PyTorch 代码中拖慢 GPU 的主机与设备同步点。

  • 为训练循环或内核添加计时代码,并为分析器时间线标注代码区域。

  • 用 NVIDIA CuTe DSL 编写 GPU 内核,涵盖逐元素、GEMM、归约、张量核心和流水线。

  • perf-analysis10次安装

    统筹性能分析,归类瓶颈并生成结构化的分析报告。

  • 为基本的单节点 PyTorch 服务生成有据可依的 trtllm-serve YAML 配置。

  • 为 Blackwell GPU 上的 TileIR 后端调优现有 Triton 内核,调整占用率和 TMA 配置。

  • 检查本机是否有 GPU、Docker 或 Slurm 访问权限,并给出适合的运行方式。

  • 在 GPU 计算节点上的 Docker 容器里编译 TensorRT-LLM。

  • 在 Docker 中后台运行 TensorRT-LLM 任务,并从日志中汇报结果。

  • 在本地集群提交并监控 Slurm 作业,多次运行时复用同一份资源分配。

  • 通过 SSH 在远程 Slurm 集群上运行和分析作业,支持文件传输和会话保持。

  • 在 Slurm 集群上提交容器化批处理作业来编译 TensorRT-LLM 并验证构建结果。

  • 编写用于将新模型接入智能体建模流程的任务说明文件。

  • 通过基准测试、SOL 预估和逐内核分析诊断 TensorRT-LLM 服务性能,指出主要瓶颈。

  • 分析 nsys 跟踪记录,判断 CPU 开销是否拖慢 TensorRT-LLM 推理及其来源。

  • 通过反复分析、优化和验证,降低 TensorRT-LLM 的 CPU 开销。

  • 将性能不稳定的现象与已知的 TensorRT-LLM 不稳定模式及修复方法对照。

  • 针对特定瓶颈、配置或硬件推荐已验证的 TensorRT-LLM 优化方案,并说明风险和回退方式。

  • 运行迭代优化流程,对 TensorRT-LLM 服务逐项进行基准测试、分析和优化。

  • 将疑似性能回退与已知的 TensorRT-LLM 回退模式及历史修复方法对照。

  • 检查运行环境并选择合适的 Docker 镜像,运行 TensorRT-LLM 测试、基准或脚本。

  • 指导你向 TensorRT-LLM 贡献代码,从 fork、签署 DCO 到测试和准备评审。

  • 让助手先摸清 TensorRT-LLM 代码库,复用已有代码而不是重复实现。

  • 获取最新的 flashinfer-python 版本,让你选择后更新仓库中所有相关引用。

  • 把 HuggingFace 多模态模型(图像、音频、视频加文本)接入 TensorRT-LLM 的 PyTorch 后端。

  • 指导实现、修改或验证 TensorRT-LLM ModelingV2 目录条目及其 GPU 测试。

  • 说明 KV 缓存复用、投机解码等 TensorRT-LLM 特性由哪个引擎阶段负责,以及目标需要满足什么。

  • 为设计、实现、评审或调试 TensorRT-LLM 的 PyTorch MoE 代码提供检查清单。

  • 为 TensorRT-LLM 任务生成 Slurm 脚本或 Docker 命令,并确定镜像、挂载和并行参数。

  • 分类并运行 TensorRT-LLM 的模型级和模块级测试,按需询问并行、数据集和设备设置。

  • 端到端测试 TensorRT-LLM VisualGen 模型性能,包括启动所需的 trtllm-serve 服务。

  • 在 CI 失败或输出有意变更后更新 VisualGen LPIPS 基准图片或视频,并重新验证测试。

  • 为 DiT、VAE、文本编码器、调度器、量化和缓存设计并运行可复现的 VisualGen 组件测试。