搜索你想找的开源项目

输入名称、用途或关键词,也可粘贴 GitHub 仓库链接

分享到微信

当前解读页的微信分享二维码

用微信扫一扫打开,点击右上角「···」分享给朋友或朋友圈。

手机上可截屏后,在微信扫一扫中从相册识别二维码。

tapilot-ai/tapilot

AI 工程

用自然语言操控 Android 手机执行跨应用任务的实验性应用,依赖视觉模型和 Android 无障碍权限。

138
28
HTML
MIT
创建于 57 天前

项目介绍

Tapilot 让你用一句自然语言给 Android 手机派任务:点按、滑动、滚动、输入、启动和切换应用。视觉规划、元素定位、动作执行和报告由 Midscene 提供,Tapilot 自己负责原生 Android 界面、无障碍设备适配、模型传输、会话保存和任务生命周期。整个编排在手机内嵌的 Node.js worker 中运行,但模型推理走远程服务——本机编排不等于离线推理。

它适合想在不用 ADB、Shizuku 或 root 的前提下自动化手机操作的人。任务运行中可以补充要求、随时停止或手动接管,之后带着已保存的上下文继续;结束后可打开 HTML 回放,查看截图、模型计划、动作和错误。语音输入输出为可选功能,接入火山引擎或 Deepgram。

快速使用

前提:一台 arm64、Android 11 及以上的手机,以及手机可访问的受支持视觉模型。

  1. 从 Beta APK 或 GitHub Release 备用下载 获取安装包并安装。
  2. 打开 Tapilot,在 Android 无障碍设置中启用 Tapilot device control。
  3. 在设置中配置 HTTP 或 HTTPS 视觉模型 API(有 ChatGPT SIWC 选项时也可选用),凭据在手机上填写。局域网自建模型填 OpenAI 兼容地址,例如 http://192.168.1.100:8000/v1;localhost 指手机自身,且仍需填一个非空的占位 API Key(如 local)。
  4. 运行一个屏幕可见的简单任务,例如「打开计算器并计算 12 × 8」,在手机上核对结果,再打开执行报告查看过程。

新安装默认使用自动执行(YOLO)。需要关键操作确认或每步确认时,在发送前于输入区切换对应模式。配置完成不等于连接测试通过,第一次真实任务才会实际跑通模型、截图和动作。

从源码构建

宿主机需要 Node.js 24、pnpm 12.4.1、JDK 17、Android SDK Platform 35 和 Build Tools 35.0.0,并设置 JAVA_HOME、ANDROID_HOME。文档给出的流程为:

pnpm install --frozen-lockfile
npm ci --prefix plugins/tapilot
node plugins/tapilot/scripts/patch-midscene-zod.mjs plugins/tapilot
npm ci --prefix tests/midscene
node plugins/tapilot/scripts/patch-midscene-zod.mjs tests/midscene
pnpm build:android
pnpm check:quick

产物在 app/build/outputs/apk/beta/app-beta.apk,使用本机开发签名,无法覆盖安装签名不同的版本。完整的宿主机依赖和签名配置见贡献指南。

使用约束与数据处理

  • 操作对象是可见屏幕,任务进行时手机被占用;用完其他应用前应先让任务完成或停止。应用重启后中断的任务不会自动重放。
  • 模型可能误读屏幕、臆测未观察到的事实或给出错误结论;锁屏与受保护页面、厂商后台限制、自绘文本输入框可能导致执行失败。目前只打包 arm64 设备。
  • 截图和任务内容会发送到所选模型服务商;可选的语音功能会把音频或回复文本发给语音服务商。密钥存于 Android Keystore 支撑的存储,但这不会让推理变成本地进行。
  • 使用 HTTP 时 API Key、消息和截图均不加密传输,仅应在可信网络中使用,否则优先 HTTPS。报告包含截图、提示词和模型输出;手机最多保留 20 个报告文件、200 MB,需要留存的内容应提前导出。
  • 电脑通过 Wi-Fi 控制手机需要搭配 Tapilot 插件,使用固定证书的 TLS,并要求手机已解锁且独占控制。
  • 0.1.9 起提供的后台屏幕模式仍为实验性,默认关闭,需先完成 shell 授权、手机端配对和悬浮窗权限,具体见设置与限制。
  • 项目采用 MIT 许可,第三方组件遵循各自许可证(致谢、第三方许可)。

HotRepo 点评

该仓库目前没有 HotRepo 榜单记录、Star 曲线采样或相关讨论,可依据的只有项目材料本身。值得注意的是文档对局限的交代比较具体:区分了编排与推理的位置,说明 23 个编写的 E2E 用例不代表 23 个已验证通过,历史设备运行结果也不能证明最新源码通过。加上 MIT 许可和完整的构建路径,这个项目值得按文档自己评估。但实际使用的关口在分发环节:材料没有把 APK 与某次源码构建对应起来,在主力手机上安装前应先核对发布产物和来源。

本文由 AI 根据项目 README 生成,更新于 ,以项目官方文档为准。

相关推荐

  1. zai-org/Open-AutoGLM基于 AutoGLM 视觉语言模型,通过 ADB/HDC 操控 Android、鸿蒙手机执行自然语言指令的手机 Agent 框架。Python26,616
  2. guzhou079-arch/deepseek-harness-android把 DeepSeek Harness 打包成安卓 APK,免 Termux、免 root,内置读屏、虚拟屏、定时任务和 27 款技能。JavaScript110
  3. phone-harness/phone-harness让编程 Agent 通过 Python CLI 点击、输入、滚动并读取真实 iPhone 或 Android 手机。Python5,051
  4. citrolabs/ego-lite给每个 AI 智能体独立 Space 的浏览器,同时沿用你已有的登录状态,互不抢标签页。JavaScript22,824
  5. mylea1/phongent用自然语言从一台 iOS 或安卓主控管理多台安卓设备 agent,集中查看进度、消息与实时画面。Kotlin362