分享到微信

当前解读页的微信分享二维码

用微信扫一扫打开,点击右上角「···」分享给朋友或朋友圈。

手机上可截屏后,在微信扫一扫中从相册识别二维码。

hyz317/HairDeck

多媒体与设计

把单张角色图转成可动画的风格化 3D 发片和弹簧骨骼链,面向游戏与 VR 头像。

334
20
Python
Apache-2.0
创建于 2 天前

HairDeck 是一个研究性质的发布,能把单张角色图变成风格化的 3D 发片(hair cards),并生成驱动这些发片动画的弹簧骨骼链。它面向做游戏可用资产或 VRM 头像的技术美术与研究人员,而不是通用的图片编辑用户。

生成什么

输入一张图后,流程会写出表示发片几何的 JSON、带头部代理体且每片发片有独立 UV 的 hair_*.glb 网格,以及生成的骨骼链;README 还说明了把头发挂到角色上导出 VRM,以及生成摇头预览视频。每片发片被编码成一个 token,由条件集合扩散 Transformer 整体生成整头发型,而不是逐片生成;第二个 chain diffusion 模型生成骨骼,蒙皮和 VRM 导出通过 Blender 完成。可参见项目主页和论文。

怎么用

有三条路径:

  • 命令行:图像转头发脚本生成 1–4 个带种子的变体,再用单独的导出命令生成 VRM 头像。
  • 本地网页演示:Gradio 应用可在浏览器里生成头发、对比变体并导出 VRM 或动画预览。
  • 在线演示:Hugging Face Space 无需本地环境即可试生成,但 VRM 导出和后续使用仍取决于能下载到的输出。

README 还提供了测试集评测和训练流程,因此这个仓库不只是终端用户工具,也可作为研究参考。

要求与限制

本地运行需要 Linux x86-64、Python 3.12 和一块 NVIDIA CUDA GPU;发布版用 PyTorch 2.8 和 CUDA 12.8 测试过,视频预览还要求 ffmpeg 在 PATH 中。权重下载脚本默认还会获取 Blender 4.2 LTS 和 VRM Add-on,也可以改为指向已有的安装。SAM 3 和 DINOv3 是受限模型,需要先接受其许可并登录才能下载。这些条件只适用于本地路径,在线演示不需要它们。

当前图像训练流程使用合成外观增强,但发布版图像模型背后的重绘渲染数据池并未包含在内,因此无法仅凭提供的训练脚本完全复现发布模型。HairDeck 的代码和检查点采用 Apache-2.0,第三方模型、代码和数据集保留各自许可。安装细节见 README。

本文由 AI 根据项目 README 生成,更新于 ,以项目官方文档为准。