ja1chen/actell
AI 工程实验性 iPhone 智能体,能读取屏幕并通过 CoreDevice 执行点击和拖拽操作。
项目介绍
Actell 是一个用于让智能体操作 iPhone 的原型 iOS 应用。它通过截图、辅助功能内容或两者结合来观察当前屏幕,再用截图、点击、拖拽和等待等工具在设备上执行动作。设备访问由名为 CoreDevice 的 Swift/Rust 后端完成,默认走 VPN 回环路线,也可以选择 ESP32-S3 USB NCM 中继。
应用还提供一层对话能力:可配置模型提供商、流式回复、提供商返回的推理文本、附件,以及可在对话中导入或创建、从 Documents/skills/ 发现的本地文本技能。文件与命令工具(read、edit、write,以及基于 ios_system 的 bash,内置 CPython 与 Pillow、NumPy)由宿主自动授权执行,不会弹出确认提示 命令工具范围。模型上下文与完整会话历史分开管理,并按预算压缩 AgentKit。
项目自述是早期通过 vibe coding 构建的原型。受控设备测试已演示截图和真实点击;完整任务、拖拽和长时间后台运行仍需要单独验收。
快速使用
构建需要 Xcode 27 与 iOS 27 或更高版本,以及有效的签名配置。CoreDevice 后端需要 Rust 的 aarch64-apple-ios 与 aarch64-apple-ios-sim target。启用开发者模式和本地网络访问,在系统界面完成应用配对,并通过 Xcode 准备匹配的 Personalized Developer Disk Image;后端只检查可用性,不负责下载、个性化或挂载 iOS 构建说明。
在 设置 → Phone Control → Connection & Validation 中选择连接路线:
- VPN 回环(默认):使用支持本地数据包回注的外部 VPN,默认接口/对端地址为
10.7.1.1/10.7.0.1,需与你的 VPN 配置一致。应用不管理 VPN。LocalDevVPN、Shadowrocket 和 Clash 有兼容性测试,详见 路线说明。 - ESP32 NCM:通过原生 USB 数据口连接烧录了当前固件的 ESP32-S3,硬件条件见 HARDWARE.md 和 固件说明。
之后添加提供商、选择模型并创建对话。控制工具在调用时检查连接与授权;执行过程中不能切换路线。普通聊天不需要设备连接。
构建应用:
python3 ios-app/scripts/prepare_python_runtime.py
python3 ios-app/scripts/generate_xcode_project.py
DEVELOPER_DIR=/Applications/Xcode.app/Contents/Developer xcodebuild \
-project ios-app/PhoneAgent.xcodeproj -scheme PhoneAgent \
-destination 'generic/platform=iOS' -derivedDataPath .build/DeviceBuild \
-clonedSourcePackagesDirPath .build/SourcePackages CODE_SIGNING_ALLOWED=NO build
模型与运行时包测试使用 swift test --package-path ios-app/ProviderKit 和 swift test --package-path ios-app/AgentKit;核心模拟器测试需要隔离的模拟器 UDID。可选的 ESP32 路线需要 ESP-IDF 5.5.5,用 bash devices/esp32/tools/build.sh ncm 构建(不烧录)。
使用约束
- 目标平台为 iOS 27,项目不是生产就绪状态;后台执行和完整任务完成不保证。
- 设备控制依赖可用的回环 VPN 配置或 ESP32 固件与硬件;蜂窝网络运行和网络切换另有单独限制。
- 截图、辅助功能内容(可能包含屏幕外文本)以及显式发送的附件都会发送到所配置的模型提供商。
- 工具效果由宿主自动授权:文件修改和内置命令不会请求确认,且可访问应用沙箱允许的其他路径。
- 辅助功能读取器仅限已验证的系统构建,不使用 XCTest Runner 辅助功能限制。
- 许可证为 GPL-3.0,第三方组件版本固定并在 THIRD_PARTY.md 中注明来源。
HotRepo 点评
该项目目前没有 HotRepo 榜单记录、快照或 Hacker News 讨论数据,因此没有热度趋势可谈。技术上值得注意的,是应用自有 Swift 智能体运行时、Rust CoreDevice 后端和两种物理传输路线之间的拆分;项目也明确划定了自己的验收边界:截图与点击已演示,但端到端任务和后台稳定性尚未达成。读者应把它当作研究原型和思路分享材料,而不是可直接使用的手机自动化产品。
本文由 AI 根据项目 README 生成,更新于 ,以项目官方文档为准。
相关推荐
- zhongerxin/iPhone-use让 Codex、WorkBuddy 或豆包工作通过 USB 操作真实 iPhone,完成 App 自动化、屏幕预览与截图回退。
- ybblab/Droidance一款开源安卓 AI 智能体,在后台虚拟屏里看屏幕、点应用,替你完成手机上的日常操作。
- phone-harness/phone-harness让编程 Agent 通过 Python CLI 点击、输入、滚动并读取真实 iPhone 或 Android 手机。
- ananhq/anan-iphone-use把 M5Stack StopWatch(ESP32-S3)变成 MCP 服务器,向 iPhone 发送点击、拖拽、滚动和键盘输入的固件。
- hridaya423/phonedriver让 AI 代理通过 MCP 和命令行读取并操控 Android 手机与 iPhone 屏幕,付款类操作前先向人确认。