pollen-robotics/microduck_rl

这是一个目标很窄、但链路相当完整的 sim2real 项目：在仿真里训练 Microduck 双足机器人 的运动策略，再导出到真机运行。手上有这台机器人、或想研究小型足式机器人的训练与落地，值得认真看；只想要通用 RL 入门环境则不合适。

解决什么问题

用强化学习让足式机器人走路，通常要先把环境、机器人模型、执行器模型和训练循环拼起来，才能看到第一个步态。更麻烦的是之后：仿真里走得稳的策略，换到真实舵机上就倒下。这个仓库把机器人模型、任务配置、PPO 训练、ONNX 导出和运行时清单格式放在一起，变化的是训练与部署之间的交接环节。最终你可以在 CPU 版 MuJoCo 查看器里看策略运行，再装到真实的 Microduck 上。

有什么不同

项目的核心判断是：在这个尺度上，执行器模型的保真度构成了 sim2real 差距的大部分，设计也围绕这点展开。所有任务都使用 BAM M6 模型 描述 Dynamixel XL330，包含电压控制律、反电动势和摩擦，并对电池电压、负载下的电压跌落、指令延迟和摩擦力做逐环境随机化。每个主任务还有 Backlash 变体：每个舵机模型带 ±1° 齿轮间隙，编码器读数穿过这段间隙，与真实编码器的安装位置一致。

任务不止走路：跌倒恢复、坐站、地面拾取、踢球、翻滚和带被动轮的变体，部分任务有平地与崎岖地形两个版本。任务 ID 注册统一，便于对比不同变体。代价是耦合较深：整个仓库依赖 mjlab、MuJoCo Warp 和 BAM，这些依赖的小变动都可能影响训练栈。文档有一部分写成内部作战手册（奖励设计经验在 AGENTS.md），作为背景有用，但不是通用教程。

谁值得试

适合：拥有 Microduck、想训练自定义步态、比较 Backlash 与非 Backlash 策略，或把策略发布到 Hugging Face Hub 让其他机主一条命令安装的人；也适合想要具体小型双足 sim2real 案例的研究者。不适合：没有这台机器人、也没有 CUDA GPU，只想看看运动 RL 的人。

算力方面有一条文档化的替代路径：训练命令加 --hf-jobs 可在 Hugging Face Jobs 上训练而非本地 GPU。这会改变谁能用，但项目仍面向这台特定机器人。

使用条件与边界

快速开始需要 CUDA GPU（训练走 MuJoCo Warp）和 uv。README 提醒：在 DGX Spark/GB10、Jetson 这类 ARM 机器上，首次同步会拉取约 2 GB 的 CUDA wheel，需要调长 HTTP 超时。推理和测试有仅 CPU 的路径，但不能替代 GPU 训练。准备阶段是一次可能较慢、因机器而异的同步；持续阶段是训练循环，README 给出 4096 个环境下约 1–2 小时得到可用步态。具体命令见项目说明。

许可有一条实际边界：代码是 Apache-2.0，但 3D 网格文件采用 CC BY-NC-SA 4.0，即非商业且要求相同方式共享。打算复用模型或做商业项目，先看 LICENSE-MODELS.md 确认范围和署名。README 除 CUDA 外没有更具体的硬件要求，也没有说明自带导出策略的质量。

HotRepo 点评

HotRepo 从 2026-10-24 才开始记录这个项目：2026-10-24 日榜观测 2,612 星（当日 +41），2026-10-25 为 2,617 星（当日 +34）。两个有日期的快照不构成趋势，关注度能否持续目前无法判断。项目创建于 2025-12-06，还比较年轻。

最该先确认文档里的训练路径是否真的匹配你的机器，尤其是 ARM 平台上 CUDA wheel 的下载，以及 1–2 小时的训练时间；这两点最可能决定它是否适合你的工作流。