minitap-ai/mobile-use
AI 工程用自然语言指令驱动 Android 和 iOS 真机或模拟器完成操作,并可把结果整理成结构化数据的 AI Agent。
项目介绍
mobile-use 通过读取手机界面的无障碍树(accessibility tree)来理解屏幕,再按自然语言指令在 Android 真机、Android 模拟器或 macOS 上的 iOS 模拟器里完成点击、输入和页面跳转。除了执行操作,它还能按调用方给出的描述把抓取到的内容整理成 JSON 等格式,适合做移动端自动化、QA 回归和数据采集的开发者,而不是给普通用户点击使用的成品 App。
项目基于 Python 3.12+ 和 LangGraph 构建,LLM 提供方可配置。维护者称其在 AndroidWorld 上取得 100% 成绩,并用论文描述了多智能体任务分解的架构 基准页面 论文;这是作者方的主张,解读时需按此口径看待。
快速使用
最快的是 Docker 启动脚本,仅支持 Android,需要 Docker、开启 USB 调试的 USB 连接设备(或运行中的模拟器),且设备与电脑处于同一 Wi-Fi:
chmod +x mobile-use.sh
bash ./mobile-use.sh \
"Open Gmail, find first 3 unread emails, and list their sender and subject line" \
--output-description "A JSON list of objects, each with 'sender' and 'subject' keys"
Windows 下对应执行 powershell.exe -ExecutionPolicy Bypass -File mobile-use.ps1 ...,参数相同 Docker 快速启动。手机上弹出 ADB 请求时要允许。若脚本取不到设备 IP,用 adb shell ip addr show up 查看接口名,再附加 --interface <名称>。
开发模式:克隆仓库,将 .env.example 复制为 .env 并填入 API Key,然后运行:
uv venv
source .venv/bin/activate # Windows: .venv\Scripts\activate
uv sync
python ./minitap/mobile_use/main.py "Go to settings and tell me my current battery level"
模型与提供方在 llm-config.override.jsonc 中配置,支持 OpenAI 兼容端点、MiniMax、Anthropic Claude 和 Google Vertex AI 凭据 本地快速上手 环境配置。
使用约束
- 支持物理 Android 手机、Android 模拟器,以及 macOS 上的 iOS 模拟器;尚不支持物理 iOS 设备。
- Android 需要 ADB;macOS 上的 iOS 模拟器需要 Xcode 和
idb_companion(可用 Homebrew 安装),并确保其在 PATH 中。 - Docker 脚本目前仅支持 Android,设备须与电脑同网,5555 端口被防火墙拦截是常见失败原因。
- 依赖无障碍树的界面导航在游戏中效果有限,README 已明确说明。
- 必须配置 LLM 提供方的 Key;未指定模型时 CLI 会提示选择。
- 采用 Apache-2.0 许可;维护者要求在科研或商业产品中使用时署名 Minitap 并引用论文。
HotRepo 点评
该仓库在站内没有日榜名次或快照记录,因此没有热度或涨星趋势可供解读。资料中最值得注意的是:一个小团队自称在 AndroidWorld 上拿到 100% 成绩,基准页面和论文都由作者方发布,同时项目仍被标注为快速演进中。基准结果应按作者口径看待,实际选型更应关注在自己设备和应用集上的真机稳定性,以及多智能体 LLM 循环的成本。
本文由 AI 根据项目 README 生成,更新于 ,以项目官方文档为准。
Hacker News 讨论
相关推荐
- droidrun/mobilerun用自然语言驱动真实 Android 和 iOS 设备的 LLM 无关框架,可通过 CLI 或 Python API 完成点击、滑动、输入和多步任务。
- AcidGr/agent-mobile-use在 Android 后台虚拟副屏中运行应用,让 Agent 在不打扰物理主屏的情况下操控手机。
- mylea1/phongent用自然语言从一台 iOS 或安卓主控管理多台安卓设备 agent,集中查看进度、消息与实时画面。
- callstack/agent-device面向 AI 编程 Agent 的设备控制层,提供 CLI、MCP 服务和 Node.js API,用于在模拟器、真机及云设备上检查、操作和验证移动端、电视、Web 与桌面应用。
- tapilot-ai/tapilot用自然语言操控 Android 手机执行跨应用任务的实验性应用,依赖视觉模型和 Android 无障碍权限。