onehumanbeing/esp32-iphone-agent

解决什么问题

想端到端自动化一台 iPhone，常规做法无非越狱、拿一台 Mac 做投屏宿主，或者付费买云真机。想让大模型真的去点开设置、设闹钟、操作 App 的人，都卡在同一处：iOS 既不开放输入通道，也不让第三方代码读屏。这个项目把活儿拆给两块便宜硬件：ESP32-S3 通过 AirPlay 收画面、同时冒充 USB 鼠标和键盘，手机上的 App 负责看和解。

有什么不同

和常见方案比，它的差别是架构层面的取舍，不是功能叠加。云真机/设备农场提供稳定可脚本化的访问，但按分钟计费且摸不到真机；越狱类方案能拿到系统能力，但一次升级就可能失效并废掉设备；Mac 投屏方案（项目自己的 v0.1.0 用 UxPlay 加 Python 服务端）能用，但始终要一台电脑在场。这里电脑被去掉了：开发板是投屏接收端也是 HID 设备，手机是大脑，运行时不需要第三台机器。两个细节值得注意：板子不解码，直接透传 H.264；闭环靠把 AssistiveTouch 指针重新归位、并在每次动作后重新确认屏幕，这才让相对的鼠标输入能可靠地变成点击和滑动。

适合谁

适合想拿真实 iOS 硬件做 computer-use agent 实验的爱好者与研究者，前提是能接受 Arduino 工具链和 Xcode。适合单机、个人规模的自动化：用 Siri 或快捷指令触发保存好的任务，或者批量导出运行记录用于 agent 评测。如果你要吞吐量、并行或无人值守的可靠性，就别从这里开始——README 自己写明链路只有约 300–500 kbps、画面 480×1040 且不超过 5 fps，锁屏、密码输入、Apple Pay 和 DRM 视频都看不到，手机一锁投屏即断。想要有官方支持的自动化 API 的团队也不适合。

上手成本

需要一块带原生 USB 和 PSRAM 的 ESP32-S3（实测的 XIAO ESP32S3 约 7 美元）、iOS 18+ 且有蜂窝数据的 iPhone、一台装 Xcode 的 Mac 做一次性烧录和编译 App，以及任意 OpenAI 兼容的视觉模型端点。签名有两个坑：免费 Apple ID 每 7 天要重签一次；一键加入热点需要付费开发者账号。App 还调用私有 API（suspend）来退出自身，README 明说上架前要改掉。键盘输入只支持 ASCII，横屏应用尚不支持。MIT 协议，但作者要求在移植和演示中署名。

点评

仓库才 13 天，约 3,790 stars，日均 +291，属于典型的新项目借发布冲量，而不是已经沉淀下来的工具；Hacker News 那条帖子只有 3 分，说明热度集中在社交渠道，还没经过广泛验证。工程思路确实有意思：把 AirPlay 接收端和 HID 设备都压到一块 7 美元的板子上、让手机自己当 agent 宿主，相比早先的 Mac 方案是实打实的简化。但它的限制来自 BLE 带宽和 iOS 本身，不是几个 commit 能解决的。把它当成一个有完整文档、值得学习和二次开发的原型；在横屏、非 ASCII 输入和上架问题落定之前，不要拿它承载你真正依赖的东西。