inclusionAI/IDM

项目介绍

IDM（Intrinsic Distribution Matching）是这套几少步文生图蒸馏方法的官方代码发布。它在内部 DMD（分布匹配蒸馏）之外，加上对生成器自身 EMA 特征的均值与逐坐标标准差匹配，因此推理阶段不需要 DINOv2 之类的外部特征编码器。论文在 Z-Image-Turbo 6B 和 Qwen-Image 20B 两个骨干上给出了全参数微调与 rank-32/64 LoRA 的结果，Z-Image 在 2 NFE 下报告 LongText-CN 94.25%、LongText-EN 90.20%，单张 A100 BF16 下 1 NFE / 2 NFE 延迟分别为 0.25 s / 0.30 s 论文。

仓库本身提供命令行推理入口 inference.py、支持 1-NFE 与 2-NFE 的统一采样器、Diffusers 适配与辅助时间包装、示例提示词，以及不下载模型的 CPU 测试。它面向想复现或继续改进少步蒸馏方法、并用其检查点出图的研发人员，而不是找现成作图应用的普通用户。

快速使用

准备 Python 3.10+ 和显存足够的 CUDA 机器（20B 骨干对显存的要求远高于 6B）。安装依赖：

python -m venv .venv
source .venv/bin/activate
python -m pip install -r requirements.txt

若默认 PyTorch 不适配你的 CUDA 环境，自行安装对应版本。无需 FlashAttention、FSDP 或训练服务；Diffusers 被固定版本，因为辅助时间包装依赖其模型接口。

出图前需要 IDM 检查点，而权重下载链接目前标注为 Coming soon，检查点对应的采样配置也随权重一起发布，因此仅凭当前仓库还无法跑通完整流程 检查点说明。权重就绪后，用 --model 指向它：

python inference.py \
  --backbone z-image \
  --model /path/to/IDM-Z-Image \
  --prompt '一张咖啡馆海报，标题"今日咖啡"，三行菜单"美式咖啡 18元""拿铁咖啡 22元""摩卡咖啡 25元"。' \
  --steps 1 --height 1024 --width 1024 --seed 42 \
  --output-dir outputs/qwen-image

每次运行会输出一张 PNG 和一个 JSON，记录提示词、随机种子、权重路径和采样配置，已有输出不会被覆盖。Qwen-Image 骨干改用 --backbone qwen-image；加载纯 transformer 导出用 --transformer 并配合对应基础 pipeline 纯 transformer 加载，加载 LoRA 用 --lora 并合并 Diffusers 格式适配器 LoRA 加载。

使用约束

• 推理必须使用 IDM 检查点；基础模型或 APEX 权重复现不出上述 IDM 结果。
• --steps 只接受 1 或 2，分别对应一次或两次条件 transformer 评估，不使用无分类器引导。
• 高宽必须是 16 的正整数倍；--device cuda:1 可切换 GPU，CPU 仅适合小规模兼容性检查。
• 纯 transformer 检查点目录需包含 config.json 和 safetensors 权重；LoRA 适配器需与基础模型匹配并采用 Diffusers pipeline 格式，原始优化器状态、FSDP 分片和未转换的 PEFT 训练检查点不能直接用于推理。
• --local-files-only 会禁止下载，只使用本地文件或已有的 Hugging Face 缓存。
• 代码采用 Apache-2.0；基础模型与未来 IDM 权重的许可证另行适用。
• 文中基准与延迟数据来自论文，并非本仓库实测；README 也说明检查点专属配置和端到端质量验证要等权重发布后再补。

HotRepo 点评

IDM 在 2026-11-02 进入 HotRepo 新项目榜 Python 语言记录，统计窗口从 2026-11-01 到 2026-11-02 净增 58 Star，逐小时采样显示同期 Star 从 100 涨到 161。该项目没有记录到 GitHub 全语言日榜名次，也未检索到 Hacker News 讨论。热度出现之时，最关键的产物——模型权重及其采样配置——仍标注为即将发布，因此仓库目前实际是推理脚手架加论文。对想评估这套方法、或为权重发布做准备的读者更有价值，而不适合期待立刻出图的人。