tapilot-ai/tapilot
AI 工程用自然语言操控 Android 手机执行跨应用任务的实验性应用,依赖视觉模型和 Android 无障碍权限。
项目介绍
Tapilot 让你用一句自然语言给 Android 手机派任务:点按、滑动、滚动、输入、启动和切换应用。视觉规划、元素定位、动作执行和报告由 Midscene 提供,Tapilot 自己负责原生 Android 界面、无障碍设备适配、模型传输、会话保存和任务生命周期。整个编排在手机内嵌的 Node.js worker 中运行,但模型推理走远程服务——本机编排不等于离线推理。
它适合想在不用 ADB、Shizuku 或 root 的前提下自动化手机操作的人。任务运行中可以补充要求、随时停止或手动接管,之后带着已保存的上下文继续;结束后可打开 HTML 回放,查看截图、模型计划、动作和错误。语音输入输出为可选功能,接入火山引擎或 Deepgram。
快速使用
前提:一台 arm64、Android 11 及以上的手机,以及手机可访问的受支持视觉模型。
- 从 Beta APK 或 GitHub Release 备用下载 获取安装包并安装。
- 打开 Tapilot,在 Android 无障碍设置中启用 Tapilot device control。
- 在设置中配置 HTTP 或 HTTPS 视觉模型 API(有 ChatGPT SIWC 选项时也可选用),凭据在手机上填写。局域网自建模型填 OpenAI 兼容地址,例如
http://192.168.1.100:8000/v1;localhost指手机自身,且仍需填一个非空的占位 API Key(如local)。 - 运行一个屏幕可见的简单任务,例如「打开计算器并计算 12 × 8」,在手机上核对结果,再打开执行报告查看过程。
新安装默认使用自动执行(YOLO)。需要关键操作确认或每步确认时,在发送前于输入区切换对应模式。配置完成不等于连接测试通过,第一次真实任务才会实际跑通模型、截图和动作。
从源码构建
宿主机需要 Node.js 24、pnpm 12.4.1、JDK 17、Android SDK Platform 35 和 Build Tools 35.0.0,并设置 JAVA_HOME、ANDROID_HOME。文档给出的流程为:
pnpm install --frozen-lockfile
npm ci --prefix plugins/tapilot
node plugins/tapilot/scripts/patch-midscene-zod.mjs plugins/tapilot
npm ci --prefix tests/midscene
node plugins/tapilot/scripts/patch-midscene-zod.mjs tests/midscene
pnpm build:android
pnpm check:quick
产物在 app/build/outputs/apk/beta/app-beta.apk,使用本机开发签名,无法覆盖安装签名不同的版本。完整的宿主机依赖和签名配置见贡献指南。
使用约束与数据处理
- 操作对象是可见屏幕,任务进行时手机被占用;用完其他应用前应先让任务完成或停止。应用重启后中断的任务不会自动重放。
- 模型可能误读屏幕、臆测未观察到的事实或给出错误结论;锁屏与受保护页面、厂商后台限制、自绘文本输入框可能导致执行失败。目前只打包 arm64 设备。
- 截图和任务内容会发送到所选模型服务商;可选的语音功能会把音频或回复文本发给语音服务商。密钥存于 Android Keystore 支撑的存储,但这不会让推理变成本地进行。
- 使用 HTTP 时 API Key、消息和截图均不加密传输,仅应在可信网络中使用,否则优先 HTTPS。报告包含截图、提示词和模型输出;手机最多保留 20 个报告文件、200 MB,需要留存的内容应提前导出。
- 电脑通过 Wi-Fi 控制手机需要搭配 Tapilot 插件,使用固定证书的 TLS,并要求手机已解锁且独占控制。
- 0.1.9 起提供的后台屏幕模式仍为实验性,默认关闭,需先完成 shell 授权、手机端配对和悬浮窗权限,具体见设置与限制。
- 项目采用 MIT 许可,第三方组件遵循各自许可证(致谢、第三方许可)。
HotRepo 点评
该仓库目前没有 HotRepo 榜单记录、Star 曲线采样或相关讨论,可依据的只有项目材料本身。值得注意的是文档对局限的交代比较具体:区分了编排与推理的位置,说明 23 个编写的 E2E 用例不代表 23 个已验证通过,历史设备运行结果也不能证明最新源码通过。加上 MIT 许可和完整的构建路径,这个项目值得按文档自己评估。但实际使用的关口在分发环节:材料没有把 APK 与某次源码构建对应起来,在主力手机上安装前应先核对发布产物和来源。
本文由 AI 根据项目 README 生成,更新于 ,以项目官方文档为准。
相关推荐
- zai-org/Open-AutoGLM基于 AutoGLM 视觉语言模型,通过 ADB/HDC 操控 Android、鸿蒙手机执行自然语言指令的手机 Agent 框架。
- guzhou079-arch/deepseek-harness-android把 DeepSeek Harness 打包成安卓 APK,免 Termux、免 root,内置读屏、虚拟屏、定时任务和 27 款技能。
- phone-harness/phone-harness让编程 Agent 通过 Python CLI 点击、输入、滚动并读取真实 iPhone 或 Android 手机。
- citrolabs/ego-lite给每个 AI 智能体独立 Space 的浏览器,同时沿用你已有的登录状态,互不抢标签页。
- mylea1/phongent用自然语言从一台 iOS 或安卓主控管理多台安卓设备 agent,集中查看进度、消息与实时画面。