hyz317/HairDeck
多媒体与设计把单张角色图转成可动画的风格化 3D 发片和弹簧骨骼链,面向游戏与 VR 头像。
HairDeck 是一个研究性质的发布,能把单张角色图变成风格化的 3D 发片(hair cards),并生成驱动这些发片动画的弹簧骨骼链。它面向做游戏可用资产或 VRM 头像的技术美术与研究人员,而不是通用的图片编辑用户。
生成什么
输入一张图后,流程会写出表示发片几何的 JSON、带头部代理体且每片发片有独立 UV 的 hair_*.glb 网格,以及生成的骨骼链;README 还说明了把头发挂到角色上导出 VRM,以及生成摇头预览视频。每片发片被编码成一个 token,由条件集合扩散 Transformer 整体生成整头发型,而不是逐片生成;第二个 chain diffusion 模型生成骨骼,蒙皮和 VRM 导出通过 Blender 完成。可参见项目主页和论文。
怎么用
有三条路径:
- 命令行:图像转头发脚本生成 1–4 个带种子的变体,再用单独的导出命令生成 VRM 头像。
- 本地网页演示:Gradio 应用可在浏览器里生成头发、对比变体并导出 VRM 或动画预览。
- 在线演示:Hugging Face Space 无需本地环境即可试生成,但 VRM 导出和后续使用仍取决于能下载到的输出。
README 还提供了测试集评测和训练流程,因此这个仓库不只是终端用户工具,也可作为研究参考。
要求与限制
本地运行需要 Linux x86-64、Python 3.12 和一块 NVIDIA CUDA GPU;发布版用 PyTorch 2.8 和 CUDA 12.8 测试过,视频预览还要求 ffmpeg 在 PATH 中。权重下载脚本默认还会获取 Blender 4.2 LTS 和 VRM Add-on,也可以改为指向已有的安装。SAM 3 和 DINOv3 是受限模型,需要先接受其许可并登录才能下载。这些条件只适用于本地路径,在线演示不需要它们。
当前图像训练流程使用合成外观增强,但发布版图像模型背后的重绘渲染数据池并未包含在内,因此无法仅凭提供的训练脚本完全复现发布模型。HairDeck 的代码和检查点采用 Apache-2.0,第三方模型、代码和数据集保留各自许可。安装细节见 README。
本文由 AI 根据项目 README 生成,更新于 ,以项目官方文档为准。