搜索你想找的开源项目

输入名称、用途或关键词,也可粘贴 GitHub 仓库链接

分享到微信

当前解读页的微信分享二维码

用微信扫一扫打开,点击右上角「···」分享给朋友或朋友圈。

手机上可截屏后,在微信扫一扫中从相册识别二维码。

X-PLUG/MobileAgent

AI 工程

通过截图和自然语言指令操作桌面、手机与浏览器应用的 GUI Agent 与 GUI-Owl 模型系列。

9,385
946
Python
MIT
创建于 2 年前

项目介绍

Mobile-Agent 是阿里巴巴通义实验室维护的 GUI 自动化研究总仓库,包含两层相互配合的内容:GUI-Owl 系列多模态 GUI 视觉语言模型,以及构建在其上的 Mobile-Agent 智能体框架。智能体通过观察屏幕并执行指令来操作桌面、手机和浏览器界面,具备规划、进度管理、反思和记忆等能力(README)。

当前主线是 Mobile-Agent-v3.5 / GUI-Owl-1.5,基于 Qwen3-VL 构建,提供 2B/4B/8B/32B/235B 多种规模及 Instruct、Thinking 两种变体,宣称在 20 多个 GUI 基准上取得 SOTA(更新记录、技术报告)。框架代码在各版本子目录中,不在根目录(Mobile-Agent-v3.5 代码、Mobile-Agent-v3 代码)。

仓库还保留了同系列的其他工作:UI-S1(半在线强化学习,含数据集和模型)、GUI-Critic-R1(操作前错误诊断)、PC-Agent、Mobile-Agent-E、Mobile-Agent-v2 和最初的 Mobile-Agent,每一项都有独立论文和目录(系列列表)。

快速使用

最快的体验方式是官方在线 Demo,不需要在本地部署模型或准备设备:打开 ModelScope Computer Use Demo 或 百炼 Computer Use Demo,输入一条任务指令(例如查股票价格、在文档中写字),操作效果可参考 PC/网页(示例任务)和手机(示例任务)的演示视频。

要以接口方式使用,Mobile-Agent-v3.5 在阿里云百炼上提供了 API,见 API 文档。如果想自行运行模型,GUI-Owl-1.5 权重发布在 Hugging Face 和 ModelScope,32B 和 7B 检查点有单独页面(GUI-Owl-32B、GUI-Owl-7B);8B Thinking 模型也可通过 ModelScope 推理服务调用(GUI-Owl-1.5-8B-Think)。

要在自己的 Android 设备上运行智能体,按 Mobile-Agent-v3 目录中的部署说明操作。若不想准备实体设备,项目也指向阿里云无影云手机及其快速体验文档。

使用约束

  • 模型与算力:较大的 GUI-Owl 变体是体量可观的 VLM,本地运行要求能托管或服务这些模型,因此在线 Demo 和百炼 API 是更实际的入口。
  • 设备接入:自动化手机需要把智能体连接到真实或云端的 Android 设备(例如通过 ADB),不是纯软件环境即可完成。
  • 平台范围:能力覆盖桌面、手机和浏览器,但代码按版本和基准分开组织(OSWorld、AndroidWorld、真机脚本),评测步骤见对应说明(OSWorld、AndroidWorld)。
  • 许可证:仓库采用 MIT 许可证,但模型权重单独发布在 Hugging Face 和 ModelScope,可能另有条款。
  • 商业服务:百炼 API、无影云手机等路径属于阿里云产品,有各自的配额和计费规则。

HotRepo 点评

本站没有该仓库的榜单或涨星记录,可用的判断依据是项目本身的技术积累:这是一条持续更新的研究线,有论文、公开权重、基准代码和在线 Demo。对读者而言,它更像 GUI Agent 方向的一份地图,而不是单一工具,建议锁定一个版本(当前为 v3.5)并按其 README 操作,而不是停留在根目录。

本文由 AI 根据项目 README 生成,更新于 ,以项目官方文档为准。

相关推荐

  1. kuafuai/andee一个住进 Android 手机或 Mac 的本地智能体,借助无障碍服务像用户一样操作任意 App,无需集成或 Root。Kotlin6,150
  2. callstack/agent-device面向 AI 编程 Agent 的设备控制层,提供 CLI、MCP 服务和 Node.js API,用于在模拟器、真机及云设备上检查、操作和验证移动端、电视、Web 与桌面应用。TypeScript5,368
  3. tapilot-ai/tapilot用自然语言操控 Android 手机执行跨应用任务的实验性应用,依赖视觉模型和 Android 无障碍权限。HTML138
  4. minitap-ai/mobile-use用自然语言指令驱动 Android 和 iOS 真机或模拟器完成操作,并可把结果整理成结构化数据的 AI Agent。Python3,403
  5. AAswordman/Operit开源的 Android AI Agent 应用,把云端或本地模型接到工具、终端、浏览器和设备自动化上执行任务。Kotlin9,283