Carol-lyh/Jeveration
机器学习用一次前向传播完成文生图、图生图和稠密预测的冻结视觉语言模型推理代码。
项目介绍
Jeveration 是一套推理代码,对应一个冻结的视觉语言模型:它在一次前向传播中把整张 512 × 512 图像当作一个联合决策输出。作者报告在单张 NVIDIA H200 上文生图请求耗时 78 ms。同一个 checkpoint 同时承担文生图、图生图(结构转图、上色、风格迁移)和稠密预测(分割、深度、表面法线)三类任务。它面向想复现或基于论文 Jeveration: System One Models Now Generate 做研究的开发者和研究者;README 还提供了项目主页、权重和在线 Demo。
环境准备
需要 Python 3.12 和 CUDA GPU。先安装依赖,再把 6.5 GB 权重下载到本地目录:
pip install -r requirements.txt
hf download linlinlinlinsdada/Jeveration --local-dir weights
主干模型 Qwen3.5-4B、TA-TiTok tokenizer 和 CLIP 文本塔会在首次使用时从 Hugging Face Hub 下载。
快速使用
在仓库目录下运行文生图:
python generate.py --weights weights/jeveration.pt --decoder weights/decoder512.pt \
--prompt "A stone cottage with a thatched roof and a flower garden in the countryside." --seed 0 --out samples/
图生图通过 --task 选择模式。例如 hed 或 depth 接受边缘图或深度图并配 --caption 描述目标图像;watercolor、anime、ghibli 直接接受照片:
python image_to_image.py --weights weights/jeveration.pt --source-decoder weights/source_decoder512.pt \
--task watercolor --image examples/photo_snowcabin.jpg --out watercolor.png
稠密预测输出分割、深度和表面法线,模型在 NYUv2 室内场景上训练:
python dense_predict.py --weights weights/jeveration.pt --image examples/room_1.png --out room_dense/
此外可以用一个 Python pipeline 对象跑全部任务(见 README 用法),运行 python app.py ... 会启动带样例的 Gradio 网页演示。各脚本都支持 --help 查看参数;在相同硬件和软件下固定 seed 会得到相同图像。
使用约束
- 需要 CUDA GPU 和 Python 3.12;首次运行会下载 Qwen3.5-4B 主干、TA-TiTok tokenizer 和 CLIP 文本塔,因此需要联网。
- 稠密预测在 NYUv2 室内场景上训练,资料未说明在其他场景下的精度。
- 图生图各模式对输入有不同要求:
hed/depth需要边缘图或深度图(或加--from-photo传照片),colorize把输入当作灰度图处理,anime/ghibli/watercolor接受照片。 - 代码与 Jeveration 权重采用 Apache-2.0 许可;第三方代码和运行时下载的模型遵循各自许可(
THIRD_PARTY_NOTICES.md)。
HotRepo 点评
Jeveration 在 2026-11-22 进入 Python 新项目榜,观察窗口内一小时内从 101 星增至 104 星、新增 3 星,并有 7 个 fork。窗口很短,记录只能说明项目发布初期受到关注,不足以判断热度走势。项目的看点在于用单一 checkpoint、单次前向同时完成生成和稠密预测;论文报告的 78 ms 延迟基于 H200,仓库资料并未说明在其他 GPU 上的表现。
本文由 AI 根据项目公开资料和 HotRepo 的记录撰写,更新于 ,以项目官方文档为准。