分享到微信

当前解读页的微信分享二维码

用微信扫一扫打开,点击右上角「···」分享给朋友或朋友圈。

手机上可截屏后,在微信扫一扫中从相册识别二维码。

Supra-3D/PhysAg3D

机器学习

把单张图片变成带关节和可形变区域的可交互 3D 资产,由 3D 生成器与智能体协同完成建模和物理校验。

106
6
Python
MIT
创建于 6 天前

项目介绍

PhysAg3D 输入一张图片,输出一个表面细节保留、可见部件能按机构运动的 3D 资产。它先用视觉语言智能体推断语义部件、交互方式和物理先验,再由预训练的 3D 生成器 TRELLIS.2 从同一张图生成带纹理的整体网格;随后智能体构建关节和柔性区域,把物理结构绑定到生成表面上,并用渲染结果和执行测量在固定预算内做局部修复。刚性铰接部件和可形变区域都支持。

交付结果会把源图、原生候选、编辑文件、交互证据和交付报告放在一起,便于检查而不是只看渲染图。这是一个研究型工作流,不是在线服务:仓库提供智能体辅助的准备与执行工具,生成主机和模型权重需要自行部署。

快速使用

默认配置由 Windows 控制器通过 SSH 驱动 Linux GPU 主机。在 PowerShell 中准备控制器:

git clone --branch main --single-branch https://github.com/Supra-3D/PhysAg3D.git
cd PhysAg3D
python -m venv .venv
.\.venv\Scripts\python.exe -m pip install -r requirements.observed.txt
Copy-Item examples/runtime.windows-ssh.json config/runtime.local.json

编辑 config/runtime.local.json:把 python、blender、codex 指向已安装的可执行文件;把 trellis.ssh_host 设为可非交互登录、主机密钥已知的 SSH 别名;把 TRELLIS.2、runtime、model、DINOv3、BiRefNet 和 jobs_root 设为该主机上可写的绝对 Linux 路径。保持分辨率 1024、步数 24、纹理尺寸 2048、种子 42 不变。

然后校验环境并运行一个案例:

.\.venv\Scripts\python.exe execute.py verify
.\.venv\Scripts\python.exe execute.py doctor --config config/runtime.local.json --native
.\.venv\Scripts\python.exe execute.py prepare --image inputs/fig8_01_4fe3cc6a.png --config config/runtime.local.json --out ../PhysAg3D-runs/example-01
.\.venv\Scripts\python.exe execute.py plan ../PhysAg3D-runs/example-01
.\.venv\Scripts\python.exe execute.py run ../PhysAg3D-runs/example-01

prepare 只复制输入并分配原生任务目录,不调用模型;run 启动智能体 worker 并可提交 GPU 生成任务。结果记录在案例的 delivery.json,包含精修后的 GLB、可编辑 Blender 文件、MuJoCo 场景、运动视频和对比材料。若交付了 presentation/index.html,在案例目录运行 python -m http.server 8000 --bind 127.0.0.1 --directory ../PhysAg3D-runs/example-01,再打开演示页面。仓库另提供一个实验性的 Linux 本地配置。

使用约束

控制器需要 Python 3.11 及以上、Blender(记录的工作流使用 5.2.1)、使用自己的 ChatGPT 登录的 Codex CLI,以及 SSH 客户端。启动器要求 gpt-6-astra 和 high 推理强度,并会检查 CLI 是否支持所需参数。生成主机需要 Linux NVIDIA GPU,并已部署 TRELLIS.2、DINOv3 和 BiRefNet;示例配置要求提交前至少有 28 GiB 空闲显存。仓库不附带模型权重和生成主机,requirements.observed.txt 记录的是观测到的版本,不是可干净复现的依赖锁。

每个案例默认预算为三小时,最多两轮验收和两轮修复。启动器拒绝修改已准备的输入或配置,也不会静默恢复已尝试的案例。智能体输出并非完全隔离:可以改编声明的历史纯代码参考,结果受模型访问、外部运行版本和逐案例决策影响。worker 正常结束不代表交互和物理检查通过,需要查看 interaction_status、physics_status、motion_kind 和 limitations。单张图片无法确定隐藏结构、尺度和材质参数,这些会作为估计值记录。原始源代码采用 MIT 许可;捆绑的 Three.js 及外部工具、模型权重保留各自许可。

HotRepo 点评

PhysAg3D 在 2026 年 11 月 1 日进入 HotRepo 新项目榜,当时记录为 106 个 Star,在大约两小时的观察窗口内净增 6 个 Star。这条单次快照说明单图可交互资产生成工作流已经获得早期关注,但不足以判断趋势、采用情况或物理准确性。对读者更有参考价值的是发布形态本身:跨两台机器的智能体流程,加上环境检查、校验和与逐案例交付报告,让工具可核查,但也抬高了在设备齐全的实验室之外运行的门槛。

项目源码与说明

本文由 AI 根据项目 README 生成,更新于 ,以项目官方文档为准。