MUSE-AI-Lab/Concept-Brittleness

这是论文《Interpreting Object-Dependent Concept Brittleness in Text-to-Image Diffusion Models》的研究代码。它关注的现象是：文生图模型能把“ink sketch”这类风格套到大多数物体上，却对少数物体反复失败，且换随机种子也依然失败。作者认为这属于系统性盲区，而不是采样噪声，并给出了一套不重新训练主干模型就能诊断和修复的流水线。

原理

核心机制是在每个去噪步单独训练一个稀疏自编码器（SAE）。流程先用训练提示词收集经过 classifier-free guidance 的去噪步更新，逐步训练 Top-K SAE，使抽象风格和属性概念在稀疏空间里可分离 研究 README。之后按阈值过滤不可靠参考样本，把其余样本平均成每步的类级概念原型。

推理时，Interpolation SAE Module 把当前更新和原型分别编码，在稀疏空间按系数 alpha 插值再解码回去。修正只作用在去噪轨迹的前段窗口；论文默认 d_model=64、隐层宽度 256、k=10，alpha=0.8 作用于最早的 20% 步数 研究 README。由于干预发生在采样过程中，README 称推理时间几乎不增加。

使用路径与具体流程

完整流程包括：提取逐步更新、训练每步 SAE、筛选参考样本、构建原型，最后用引导模式采样。仓库脚本覆盖每个阶段，generate.py 另外提供普通采样和 mean ablation 模式，alpha 和提示词通过参数设置 研究 README。

比较适合的使用者，是想检查某个主干模型是否存在稳定的概念盲区，并验证原型引导能否在不微调模型的情况下修复部分失败的研究者或实践者。

评测范围

README 报告的结果基于留出提示词、256×256 分辨率、各主干官方采样器设置和 seed 2026 研究 README。覆盖 SD 1.5、SD 3.5 Large、SDXL、PixArt-alpha 和 FLUX.1-dev 五个主干。指标分两类：风格指标（CLIP-I、CLIP-T、Style Alignment）和属性指标（BLIP-VQA 的 Color/Texture/Shape、CLIPSim）。这些是特定指标和设置下的基准结果，不是对生成质量的普遍结论。

要求与限制

• 需要 Python 3.10 和 PyTorch；实验使用一块 A800 80GB GPU，复现时主干模型规模会影响显存需求 研究 README。
• 模型权重不随代码分发。需要把可信的本地副本放到 models/ 下（布局有文档说明），或显式传入路径；每个主干有各自的 Hugging Face 来源 权重布局。
• 修正是有取舍的：alpha 越大，目标风格越强，但也越可能改变画面布局。
• README 未声明本仓库的许可证；而 src/ 中改编的主干推理代码仍受原主干许可证约束 研究 README。再分发或二次开发前应核对这些条款。
• 默认值来自论文设置；README 并未声称它们可原样适用于所有概念、分辨率或主干。