搜索你想找的开源项目

输入名称、用途或关键词,也可粘贴 GitHub 仓库链接

分享到微信

当前解读页的微信分享二维码

用微信扫一扫打开,点击右上角「···」分享给朋友或朋友圈。

手机上可截屏后,在微信扫一扫中从相册识别二维码。

Carol-lyh/Jeveration

机器学习

用一次前向传播完成文生图、图生图和稠密预测的冻结视觉语言模型推理代码。

119
9
Python
Apache-2.0
创建于 4 天前

项目介绍

Jeveration 是一套推理代码,对应一个冻结的视觉语言模型:它在一次前向传播中把整张 512 × 512 图像当作一个联合决策输出。作者报告在单张 NVIDIA H200 上文生图请求耗时 78 ms。同一个 checkpoint 同时承担文生图、图生图(结构转图、上色、风格迁移)和稠密预测(分割、深度、表面法线)三类任务。它面向想复现或基于论文 Jeveration: System One Models Now Generate 做研究的开发者和研究者;README 还提供了项目主页、权重和在线 Demo。

环境准备

需要 Python 3.12 和 CUDA GPU。先安装依赖,再把 6.5 GB 权重下载到本地目录:

pip install -r requirements.txt
hf download linlinlinlinsdada/Jeveration --local-dir weights

主干模型 Qwen3.5-4B、TA-TiTok tokenizer 和 CLIP 文本塔会在首次使用时从 Hugging Face Hub 下载。

快速使用

在仓库目录下运行文生图:

python generate.py --weights weights/jeveration.pt --decoder weights/decoder512.pt \
    --prompt "A stone cottage with a thatched roof and a flower garden in the countryside." --seed 0 --out samples/

图生图通过 --task 选择模式。例如 hed 或 depth 接受边缘图或深度图并配 --caption 描述目标图像;watercolor、anime、ghibli 直接接受照片:

python image_to_image.py --weights weights/jeveration.pt --source-decoder weights/source_decoder512.pt \
    --task watercolor --image examples/photo_snowcabin.jpg --out watercolor.png

稠密预测输出分割、深度和表面法线,模型在 NYUv2 室内场景上训练:

python dense_predict.py --weights weights/jeveration.pt --image examples/room_1.png --out room_dense/

此外可以用一个 Python pipeline 对象跑全部任务(见 README 用法),运行 python app.py ... 会启动带样例的 Gradio 网页演示。各脚本都支持 --help 查看参数;在相同硬件和软件下固定 seed 会得到相同图像。

使用约束

  • 需要 CUDA GPU 和 Python 3.12;首次运行会下载 Qwen3.5-4B 主干、TA-TiTok tokenizer 和 CLIP 文本塔,因此需要联网。
  • 稠密预测在 NYUv2 室内场景上训练,资料未说明在其他场景下的精度。
  • 图生图各模式对输入有不同要求:hed/depth 需要边缘图或深度图(或加 --from-photo 传照片),colorize 把输入当作灰度图处理,anime/ghibli/watercolor 接受照片。
  • 代码与 Jeveration 权重采用 Apache-2.0 许可;第三方代码和运行时下载的模型遵循各自许可(THIRD_PARTY_NOTICES.md)。

HotRepo 点评

Jeveration 在 2026-11-22 进入 Python 新项目榜,观察窗口内一小时内从 101 星增至 104 星、新增 3 星,并有 7 个 fork。窗口很短,记录只能说明项目发布初期受到关注,不足以判断热度走势。项目的看点在于用单一 checkpoint、单次前向同时完成生成和稠密预测;论文报告的 78 ms 延迟基于 H200,仓库资料并未说明在其他 GPU 上的表现。

本文由 AI 根据项目公开资料和 HotRepo 的记录撰写,更新于 ,以项目官方文档为准。

相关推荐

  1. OpenMOSS/MOSS-Image开源 5B 扩散模型,专攻图像内的文字清晰度与元素布局控制。Python1,752
  2. yyfz/Pi4用一个模型前向同时重建 4D 场景几何与相机运动,面向三维视觉与图形研究。Python118