搜索你想找的开源项目

输入名称、用途或关键词,也可粘贴 GitHub 仓库链接

分享到微信

当前解读页的微信分享二维码

用微信扫一扫打开,点击右上角「···」分享给朋友或朋友圈。

手机上可截屏后,在微信扫一扫中从相册识别二维码。

ja1chen/actell

AI 工程

实验性 iPhone 智能体,能读取屏幕并通过 CoreDevice 执行点击和拖拽操作。

124
38
Swift
GPL-3.0
创建于 39 天前

项目介绍

Actell 是一个用于让智能体操作 iPhone 的原型 iOS 应用。它通过截图、辅助功能内容或两者结合来观察当前屏幕,再用截图、点击、拖拽和等待等工具在设备上执行动作。设备访问由名为 CoreDevice 的 Swift/Rust 后端完成,默认走 VPN 回环路线,也可以选择 ESP32-S3 USB NCM 中继。

应用还提供一层对话能力:可配置模型提供商、流式回复、提供商返回的推理文本、附件,以及可在对话中导入或创建、从 Documents/skills/ 发现的本地文本技能。文件与命令工具(read、edit、write,以及基于 ios_system 的 bash,内置 CPython 与 Pillow、NumPy)由宿主自动授权执行,不会弹出确认提示 命令工具范围。模型上下文与完整会话历史分开管理,并按预算压缩 AgentKit。

项目自述是早期通过 vibe coding 构建的原型。受控设备测试已演示截图和真实点击;完整任务、拖拽和长时间后台运行仍需要单独验收。

快速使用

构建需要 Xcode 27 与 iOS 27 或更高版本,以及有效的签名配置。CoreDevice 后端需要 Rust 的 aarch64-apple-ios 与 aarch64-apple-ios-sim target。启用开发者模式和本地网络访问,在系统界面完成应用配对,并通过 Xcode 准备匹配的 Personalized Developer Disk Image;后端只检查可用性,不负责下载、个性化或挂载 iOS 构建说明。

在 设置 → Phone Control → Connection & Validation 中选择连接路线:

  • VPN 回环(默认):使用支持本地数据包回注的外部 VPN,默认接口/对端地址为 10.7.1.1 / 10.7.0.1,需与你的 VPN 配置一致。应用不管理 VPN。LocalDevVPN、Shadowrocket 和 Clash 有兼容性测试,详见 路线说明。
  • ESP32 NCM:通过原生 USB 数据口连接烧录了当前固件的 ESP32-S3,硬件条件见 HARDWARE.md 和 固件说明。

之后添加提供商、选择模型并创建对话。控制工具在调用时检查连接与授权;执行过程中不能切换路线。普通聊天不需要设备连接。

构建应用:

python3 ios-app/scripts/prepare_python_runtime.py
python3 ios-app/scripts/generate_xcode_project.py
DEVELOPER_DIR=/Applications/Xcode.app/Contents/Developer xcodebuild \
  -project ios-app/PhoneAgent.xcodeproj -scheme PhoneAgent \
  -destination 'generic/platform=iOS' -derivedDataPath .build/DeviceBuild \
  -clonedSourcePackagesDirPath .build/SourcePackages CODE_SIGNING_ALLOWED=NO build

模型与运行时包测试使用 swift test --package-path ios-app/ProviderKit 和 swift test --package-path ios-app/AgentKit;核心模拟器测试需要隔离的模拟器 UDID。可选的 ESP32 路线需要 ESP-IDF 5.5.5,用 bash devices/esp32/tools/build.sh ncm 构建(不烧录)。

使用约束

  • 目标平台为 iOS 27,项目不是生产就绪状态;后台执行和完整任务完成不保证。
  • 设备控制依赖可用的回环 VPN 配置或 ESP32 固件与硬件;蜂窝网络运行和网络切换另有单独限制。
  • 截图、辅助功能内容(可能包含屏幕外文本)以及显式发送的附件都会发送到所配置的模型提供商。
  • 工具效果由宿主自动授权:文件修改和内置命令不会请求确认,且可访问应用沙箱允许的其他路径。
  • 辅助功能读取器仅限已验证的系统构建,不使用 XCTest Runner 辅助功能限制。
  • 许可证为 GPL-3.0,第三方组件版本固定并在 THIRD_PARTY.md 中注明来源。

HotRepo 点评

该项目目前没有 HotRepo 榜单记录、快照或 Hacker News 讨论数据,因此没有热度趋势可谈。技术上值得注意的,是应用自有 Swift 智能体运行时、Rust CoreDevice 后端和两种物理传输路线之间的拆分;项目也明确划定了自己的验收边界:截图与点击已演示,但端到端任务和后台稳定性尚未达成。读者应把它当作研究原型和思路分享材料,而不是可直接使用的手机自动化产品。

本文由 AI 根据项目 README 生成,更新于 ,以项目官方文档为准。

相关推荐

  1. zhongerxin/iPhone-use让 Codex、WorkBuddy 或豆包工作通过 USB 操作真实 iPhone,完成 App 自动化、屏幕预览与截图回退。Python5,022
  2. ybblab/Droidance一款开源安卓 AI 智能体,在后台虚拟屏里看屏幕、点应用,替你完成手机上的日常操作。Kotlin151
  3. phone-harness/phone-harness让编程 Agent 通过 Python CLI 点击、输入、滚动并读取真实 iPhone 或 Android 手机。Python5,051
  4. ananhq/anan-iphone-use把 M5Stack StopWatch(ESP32-S3)变成 MCP 服务器,向 iPhone 发送点击、拖拽、滚动和键盘输入的固件。C160
  5. hridaya423/phonedriver让 AI 代理通过 MCP 和命令行读取并操控 Android 手机与 iPhone 屏幕,付款类操作前先向人确认。Rust150