xiaoerofficial021-collab/FlowHMR-Windows
机器学习FlowHMR 的 Windows 桌面发行版,从视频重建 3D 人体动作,支持预览和 FBX 导出。
项目介绍
FlowHMR-Windows 是 FlowHMR 研究项目的 Windows 桌面打包版。它把普通视频转成 3D 人体动作,提供 3D 预览,并导出 FBX。上游模型是 0.46B 参数的流匹配系统,主打物理合理的动作恢复;推荐使用的 flowhmr_latest 检查点在基础模型上做了带物理奖励的 GRPO 后训练(模型表)。
桌面版除单人捕捉外,还支持多人选取、同步预览、原声播放、手指精修、接触修正和多人 FBX 导出。配套的 Blender 插件 FlowHMR 2 MMR 可把导出的 FBX 重定向到 MMR 控制骨架,并保留每个人的入场时间和相对站位。
适合不想搭完整 Python 流程、希望本地完成视频动捕的动画师、动捕爱好者和研究者,也适合需要给 MMR 骨架配动作的 Blender 用户。
快速使用
- 从最新发布下载 FlowHMR-Windows.zip 并解压,基础包自带 Python、界面和 FBX 导出组件。
- 双击
FlowHMR.exe启动。 - 在右上角 运行环境 中下载并启用一个 CUDA 版本。
- 在 模型 中下载公开模型。
- 在 MANO 下载页 注册后获取 Extended SMPL+H model(
smplh.tar.xz),直接解压到models/body_models/smplh/;若要手指精修或切换体型,再获取 Models & Code(mano_v1_2.zip),解压到models/。 - 导入视频,选取要重建的人物,预览动作后导出 FBX。
可选:在 Blender 的 编辑 → 偏好设置 → 插件 中安装 FlowHMR 2 MMR 插件 的 ZIP(Blender 3.6 及以上),在 3D 视图按 N 打开 FlowHMR 2 MMR 页签。使用前需先用 MMR 生成目标控制骨架,详见发布页说明。
使用约束
- 需要可用的 CUDA GPU 环境,并通过内置环境管理下载;模型只在开始生成时加载。
- SMPL-H 和 MANO 体型模型需接受 MPI 许可,无法随包分发,缺少时无法生成动作。
- 源码构建和 Windows 详细用法见 Windows 说明,模型目录结构见 models/README。
- 研究流程与桌面版分离:V2M 环境使用 Python 3.10 + PyTorch 2.5.1(cu118);物理流程需要 Isaac Gym Preview 4、Python 3.8 + PyTorch 1.13(cu117),两者通过
/dev/shm文件通信。训练数据不随仓库提供,Wild-4K 只发布片段 ID,不发布视频。 - 代码采用 Apache-2.0;模型权重遵循 Hugging Face 模型卡上的许可。
HotRepo 点评
该项目在 2026-11-11 进入 HotRepo 的 Python 新项目榜,记录为 108 star、约 2.5 小时窗口净增 7 star、12 fork;暂无 GitHub 日榜名次和 Hacker News 讨论。增长窗口很短,不能据此判断持续采用情况。值得注意的技术事实是它同时存在两条分发路径:开箱即用的 Windows 安装包,以及一套有独立环境要求的研究栈;桌面二进制和上游论文代码的发布方式不同,应作为两种产物分别对待。
本文由 AI 根据项目 README 生成,更新于 ,以项目官方文档为准。