搜索你想找的开源项目

输入名称、用途或关键词,也可粘贴 GitHub 仓库链接

分享到微信

当前解读页的微信分享二维码

用微信扫一扫打开,点击右上角「···」分享给朋友或朋友圈。

手机上可截屏后,在微信扫一扫中从相册识别二维码。

xiaoerofficial021-collab/FlowHMR-Windows

机器学习

FlowHMR 的 Windows 桌面发行版,从视频重建 3D 人体动作,支持预览和 FBX 导出。

210
21
Python
Apache-2.0
创建于 3 天前

项目介绍

FlowHMR-Windows 是 FlowHMR 研究项目的 Windows 桌面打包版。它把普通视频转成 3D 人体动作,提供 3D 预览,并导出 FBX。上游模型是 0.46B 参数的流匹配系统,主打物理合理的动作恢复;推荐使用的 flowhmr_latest 检查点在基础模型上做了带物理奖励的 GRPO 后训练(模型表)。

桌面版除单人捕捉外,还支持多人选取、同步预览、原声播放、手指精修、接触修正和多人 FBX 导出。配套的 Blender 插件 FlowHMR 2 MMR 可把导出的 FBX 重定向到 MMR 控制骨架,并保留每个人的入场时间和相对站位。

适合不想搭完整 Python 流程、希望本地完成视频动捕的动画师、动捕爱好者和研究者,也适合需要给 MMR 骨架配动作的 Blender 用户。

快速使用

  1. 从最新发布下载 FlowHMR-Windows.zip 并解压,基础包自带 Python、界面和 FBX 导出组件。
  2. 双击 FlowHMR.exe 启动。
  3. 在右上角 运行环境 中下载并启用一个 CUDA 版本。
  4. 在 模型 中下载公开模型。
  5. 在 MANO 下载页 注册后获取 Extended SMPL+H model(smplh.tar.xz),直接解压到 models/body_models/smplh/;若要手指精修或切换体型,再获取 Models & Code(mano_v1_2.zip),解压到 models/。
  6. 导入视频,选取要重建的人物,预览动作后导出 FBX。

可选:在 Blender 的 编辑 → 偏好设置 → 插件 中安装 FlowHMR 2 MMR 插件 的 ZIP(Blender 3.6 及以上),在 3D 视图按 N 打开 FlowHMR 2 MMR 页签。使用前需先用 MMR 生成目标控制骨架,详见发布页说明。

使用约束

  • 需要可用的 CUDA GPU 环境,并通过内置环境管理下载;模型只在开始生成时加载。
  • SMPL-H 和 MANO 体型模型需接受 MPI 许可,无法随包分发,缺少时无法生成动作。
  • 源码构建和 Windows 详细用法见 Windows 说明,模型目录结构见 models/README。
  • 研究流程与桌面版分离:V2M 环境使用 Python 3.10 + PyTorch 2.5.1(cu118);物理流程需要 Isaac Gym Preview 4、Python 3.8 + PyTorch 1.13(cu117),两者通过 /dev/shm 文件通信。训练数据不随仓库提供,Wild-4K 只发布片段 ID,不发布视频。
  • 代码采用 Apache-2.0;模型权重遵循 Hugging Face 模型卡上的许可。

HotRepo 点评

该项目在 2026-11-11 进入 HotRepo 的 Python 新项目榜,记录为 108 star、约 2.5 小时窗口净增 7 star、12 fork;暂无 GitHub 日榜名次和 Hacker News 讨论。增长窗口很短,不能据此判断持续采用情况。值得注意的技术事实是它同时存在两条分发路径:开箱即用的 Windows 安装包,以及一套有独立环境要求的研究栈;桌面二进制和上游论文代码的发布方式不同,应作为两种产物分别对待。

本文由 AI 根据项目 README 生成,更新于 ,以项目官方文档为准。

相关推荐

  1. toyxyz/toyxyz_RGBMocap在 Windows 上把普通视频转换为可编辑的三维人体动作,用于动画与游戏角色,AI 模型本地运行。Python1,280
  2. gokayfem/image-to-sculpt把一张图片变成可核对的 3D 雕塑,并在 Blender 中回放整个构建过程的编程智能体技能。Python105