NVIDIA/Model-Optimizer

项目介绍

NVIDIA Model Optimizer 是一个开源的 Python 模型优化库，面向需要部署 LLM、VLM 和扩散模型的团队。它接受 Hugging Face、PyTorch 或 ONNX 模型作为输入，提供训练后量化、量化感知训练/蒸馏、剪枝、蒸馏、投机解码和稀疏化等技术，并导出优化后的检查点，供 TensorRT-LLM、TensorRT、vLLM 或 SGLang 加载推理（项目说明）。它还与 Megatron-Bridge、Megatron-LM 和 Hugging Face Accelerate 集成，支持需要训练参与的优化流程。

安装与首次使用

从 PyPI 安装稳定版及全部可选依赖：

pip install -U nvidia-modelopt[all]

如需最新功能或以可编辑模式开发，可从源码安装：

git clone git@github.com:NVIDIA/Model-Optimizer.git
cd Model-Optimizer
pip install -e .[dev]

nvcr.io/nvidia/pytorch:<version>-py3 等 NVIDIA 容器镜像已预装 Model Optimizer，拉取后按上面的方式升级到最新版。具体优化流程取决于所选技术和模型类型：对 Hugging Face 模型做训练后量化，可从 HF PTQ 示例开始；依赖项和环境配置的更多选项见 安装指南。一次流程会产出下游推理框架可加载的优化检查点，但仓库没有提供覆盖所有模型和部署目标的单一命令。

技术与部署路径

量化是最直接的压缩模型、提升推理速度的路径；量化感知训练或蒸馏可在低精度转换后恢复精度。剪枝移除参数或结构化组件，蒸馏让小模型学习大模型的行为，投机解码训练草稿模块来预测额外 token，稀疏化只存储非零权重及其位置。Hugging Face 上发布的预量化检查点可直接用于 TensorRT-LLM、vLLM 和 SGLang（技术指南）。

使用约束

项目仍处于 1.0 之前。被弃用的 API 会有一轮约一个月的迁移期并给出运行时警告，之后可能在次版本中移除。安装会引入额外的第三方开源依赖，需要自行核对许可证。兼容性因模型类型和技术而异，LLM/VLM 量化、diffusers、ONNX、Windows、QAT、剪枝、蒸馏和投机解码各有独立支持矩阵，选择流程前应先确认。面向特定推理框架导出时，还可能受该框架自身的安装与版本约束，这部分不在本仓库范围内。

HotRepo 点评

站内每日快照显示，仓库在 2026-09-24 为 3,936 星，次日升至 4,313 星，随后到 9 月 27 日每天仍有数百星增长；到 2026-11-05 累计 5,531 星、800 fork，并在当天的 Python 日榜排第 7。这样的记录更像是一个成熟优化工具库在短时间内获得集中关注，而不是单日冲高。仓库本身提供了技术指南、按模型族划分的示例和已发布的量化检查点，读者有多个具体入口可以评估和复现这些工作流，这也为上述增长提供了可核实的背景。