搜索你想找的开源项目

输入名称、用途或关键词,也可粘贴 GitHub 仓库链接

分享到微信

当前解读页的微信分享二维码

用微信扫一扫打开,点击右上角「···」分享给朋友或朋友圈。

手机上可截屏后,在微信扫一扫中从相册识别二维码。

TencentQQGYLab/AppAgent

AI 工程

用多模态 LLM 通过 ADB 截屏并模拟点按滑动来操作 Android 应用的智能体框架,面向 GUI 自动化研究者。

6,923
760
Python
MIT
创建于 2 年前

项目介绍

AppAgent 是腾讯开源的研究型框架,让多模态大模型像人一样操作 Android 应用:截屏、识别带编号的 UI 元素,再通过 ADB 发出点按、滑动等动作。它不依赖应用后端接口,因此能用于第三方 App。

核心是两阶段流程。探索阶段由智能体自主尝试任务,或由人演示操作,生成描述 UI 元素的文档库;部署阶段根据任务检索这份文档并执行。论文与演示材料见项目主页。

快速使用

准备:Python 3、在 PC 上装好 ADB、一台开启 USB 调试并已连接的 Android 设备;没有真机可用 Android Studio 自带模拟器(前置条件)。

  1. 在仓库根目录安装依赖:
pip install -r requirements.txt
  1. 修改根目录 config.yaml,填入 OpenAI API key 和请求间隔;也可把 MODEL 改为 Qwen 并填 Dashscope key,改用 qwen-vl-max(配置说明)。

  2. 探索阶段生成知识库:

python learn.py

按提示选择自主探索或人工演示,输入应用名和任务描述。

  1. 部署阶段执行任务:
python run.py

输入应用名、选择文档库,并描述任务。

成本与模型选择

主模型是 GPT-4V,README 说明每对请求/响应约花费 $0.03,长时间探索成本不低。qwen-vl-max 可免费使用但效果较弱。接入自有模型需要在 scripts/model.py 中新增模型类。config.yaml 里的请求间隔用于控制调用频率,避免超出账号限制。

使用约束

  • 仅支持 Android;智能体通过 ADB 控制设备,USB 调试需保持开启。支持模拟器,但需能被 ADB 识别。
  • 任务成功率很大程度取决于生成的文档库。使用建议 建议扩大探索范围或增加演示步骤,并可手动修正描述不准确的元素文档。
  • 项目提供了论文测试所用的评测基准。
  • 采用 MIT 许可证。

HotRepo 点评

AppAgent 把「先探索、后部署」的方法整理成可运行的脚本、配置文件和公开评测集,让论文中的方法可以复现,而不只停留在描述层面。README 明确给出每次请求的价格量级,并提供免费的通义千问作为备选,这直接决定了一次探索能跑多久、成本何时成为约束。它面向研究或构建 GUI 智能体的人,而不是想要一个开箱即用手机助手的普通用户。

本文由 AI 根据项目 README 生成,更新于 ,以项目官方文档为准。

相关推荐

  1. AAswordman/Operit开源的 Android AI Agent 应用,把云端或本地模型接到工具、终端、浏览器和设备自动化上执行任务。Kotlin9,283
  2. zai-org/Open-AutoGLM基于 AutoGLM 视觉语言模型,通过 ADB/HDC 操控 Android、鸿蒙手机执行自然语言指令的手机 Agent 框架。Python26,616
  3. kilolonion/agent-vscreen给 Android AI Agent 一块隐形副屏,让它在后台操作 App,你继续用自己的屏幕。Kotlin117
  4. AcidGr/agent-mobile-use在 Android 后台虚拟副屏中运行应用,让 Agent 在不打扰物理主屏的情况下操控手机。Java124
  5. X-PLUG/MobileAgent通过截图和自然语言指令操作桌面、手机与浏览器应用的 GUI Agent 与 GUI-Owl 模型系列。Python9,385