AcidGr/agent-mobile-use
AI 工程在 Android 后台虚拟副屏中运行应用,让 Agent 在不打扰物理主屏的情况下操控手机。
项目介绍
agent-mobile-use 是给 DeepSeek Harness(DSH)用的 Mobile Use 后端。它在 Android 设备上创建一块特权虚拟副屏,让 Agent 能在后台启动应用、读取无障碍控件树、发送点击/滑动/按键和静默文字输入,并截取画面,同时物理主屏保持可用。
整体由四部分组成:装在 /system/bin/vd 的命令行总线;管理虚拟显示与帧缓存的 Java 守护进程 agent_vd.dex;负责 UI dump 和免键盘文字注入的 agent_tools.dex;以及运行在 3070 端口的静态编译 ARM64 Go 服务,提供 REST API 和 H.264 WebSocket 视频流。system_server 与 com.android.systemui 中的 LSPosed Hook 负责跨屏任务焦点、输入法隔离和状态栏流体云过滤。agent_hook.apk 内的原生 SettingsActivity 提供状态看板、DSH 凭据和副屏开关。
适合在已 Root 的 Android 设备上搭建或运行 DSH 手机 Agent 的人使用,并不面向普通未 Root 手机上的应用自动化。
快速使用
前提:设备已 Root(KernelSU / APatch / Magisk),已安装 LSPosed 或 Vector 2.x;如需控制台联动,本机需运行 DSH。作者实测环境为 ColorOS 16 / Android 15–16 + KernelSU + LSPosed。
- 从 GitHub Releases 或
release/目录下载agent-mobile-use-ksu-v0.8.11.zip。 - 把 zip 传到手机,在 KernelSU(或 APatch / Magisk)的模块管理中选择该 zip 安装。
- 安装脚本会释放
agent_hook.apk,检测 LSPosed/Vector 数据库并激活system、android、com.android.systemui、com.agent.mobileuse作用域,同时把vd部署到/system/bin/vd并软链到 KSU、AP 的 bin 目录。 - 重启手机,让 LSPosed Hook 和系统服务挂载生效。
- 用
vd status确认状态,vd start启动副屏,然后操作应用:
vd launch com.example.app
vd tree
vd tap 540 1200
vd type "hello"
vd screenshot /sdcard/shot.jpg
同样的动作可通过 127.0.0.1:3070 的 HTTP 接口完成:GET /api/status 查状态,GET /api/dump_ui 取控件树,POST /api/action 执行 observe/click/swipe/type/key/launch/wait 组合动作。本地 Web 控制台根路径提供实时 H.264 画面。源码构建分 vd-tool-java/、vd-server-go/、agent-hook-apk/、ksu-module/ 四个目录,各自有 build.sh,最后在 ksu-module/ 执行 pack.sh 打包模块 zip。
使用约束
- Root 和 Hook 框架是必需的。没有 LSPosed 时,跨屏调度、输入法隔离和状态栏胶囊等功能不会生效。Android 16 QPR2 / 17 建议使用 LSPosed 2.x 或 Vector。
- 网关监听
0.0.0.0:3070,应只在可信网络使用或加防火墙;DSH 控制台联动还假设本机 3080 端口有服务。 - LSPosed 作用域包含
system_server,安装过程会改动系统路径,模块异常可能影响整机,需保留卸载手段。 - 通过
--user启动应用依赖多用户/分身机制,仅在作者环境中验证过。 - README 中“105 步手绘”是作者在其测试设备上的演示,不是通用性能保证。
- 许可证为 MIT。
HotRepo 点评
本站没有该仓库的榜单快照或讨论记录,无法判断热度趋势。技术上值得关注的是“虚拟副屏 + Hook”的组合:它把 Agent 的操作留在后台,避免软键盘弹窗,适合连续手势流这类场景;代价是深度依赖 Root 和 LSPosed,在普通未 Root 设备上无法使用,因此星数少并不能说明实际采用范围。
核心交付物是预构建的 KernelSU 模块 zip 和 APK,README 只用目录级脚本说明源码构建关系,刷入前应自行核实产物来源。
本文由 AI 根据项目 README 生成,更新于 ,以项目官方文档为准。
相关推荐
- kilolonion/agent-vscreen给 Android AI Agent 一块隐形副屏,让它在后台操作 App,你继续用自己的屏幕。
- ybblab/Droidance一款开源安卓 AI 智能体,在后台虚拟屏里看屏幕、点应用,替你完成手机上的日常操作。
- guzhou079-arch/deepseek-harness-android把 DeepSeek Harness 打包成安卓 APK,免 Termux、免 root,内置读屏、虚拟屏、定时任务和 27 款技能。
- minitap-ai/mobile-use用自然语言指令驱动 Android 和 iOS 真机或模拟器完成操作,并可把结果整理成结构化数据的 AI Agent。
- droidrun/mobilerun用自然语言驱动真实 Android 和 iOS 设备的 LLM 无关框架,可通过 CLI 或 Python API 完成点击、滑动、输入和多步任务。