X-PLUG/MobileAgent
AI 工程通过截图和自然语言指令操作桌面、手机与浏览器应用的 GUI Agent 与 GUI-Owl 模型系列。
项目介绍
Mobile-Agent 是阿里巴巴通义实验室维护的 GUI 自动化研究总仓库,包含两层相互配合的内容:GUI-Owl 系列多模态 GUI 视觉语言模型,以及构建在其上的 Mobile-Agent 智能体框架。智能体通过观察屏幕并执行指令来操作桌面、手机和浏览器界面,具备规划、进度管理、反思和记忆等能力(README)。
当前主线是 Mobile-Agent-v3.5 / GUI-Owl-1.5,基于 Qwen3-VL 构建,提供 2B/4B/8B/32B/235B 多种规模及 Instruct、Thinking 两种变体,宣称在 20 多个 GUI 基准上取得 SOTA(更新记录、技术报告)。框架代码在各版本子目录中,不在根目录(Mobile-Agent-v3.5 代码、Mobile-Agent-v3 代码)。
仓库还保留了同系列的其他工作:UI-S1(半在线强化学习,含数据集和模型)、GUI-Critic-R1(操作前错误诊断)、PC-Agent、Mobile-Agent-E、Mobile-Agent-v2 和最初的 Mobile-Agent,每一项都有独立论文和目录(系列列表)。
快速使用
最快的体验方式是官方在线 Demo,不需要在本地部署模型或准备设备:打开 ModelScope Computer Use Demo 或 百炼 Computer Use Demo,输入一条任务指令(例如查股票价格、在文档中写字),操作效果可参考 PC/网页(示例任务)和手机(示例任务)的演示视频。
要以接口方式使用,Mobile-Agent-v3.5 在阿里云百炼上提供了 API,见 API 文档。如果想自行运行模型,GUI-Owl-1.5 权重发布在 Hugging Face 和 ModelScope,32B 和 7B 检查点有单独页面(GUI-Owl-32B、GUI-Owl-7B);8B Thinking 模型也可通过 ModelScope 推理服务调用(GUI-Owl-1.5-8B-Think)。
要在自己的 Android 设备上运行智能体,按 Mobile-Agent-v3 目录中的部署说明操作。若不想准备实体设备,项目也指向阿里云无影云手机及其快速体验文档。
使用约束
- 模型与算力:较大的 GUI-Owl 变体是体量可观的 VLM,本地运行要求能托管或服务这些模型,因此在线 Demo 和百炼 API 是更实际的入口。
- 设备接入:自动化手机需要把智能体连接到真实或云端的 Android 设备(例如通过 ADB),不是纯软件环境即可完成。
- 平台范围:能力覆盖桌面、手机和浏览器,但代码按版本和基准分开组织(OSWorld、AndroidWorld、真机脚本),评测步骤见对应说明(OSWorld、AndroidWorld)。
- 许可证:仓库采用 MIT 许可证,但模型权重单独发布在 Hugging Face 和 ModelScope,可能另有条款。
- 商业服务:百炼 API、无影云手机等路径属于阿里云产品,有各自的配额和计费规则。
HotRepo 点评
本站没有该仓库的榜单或涨星记录,可用的判断依据是项目本身的技术积累:这是一条持续更新的研究线,有论文、公开权重、基准代码和在线 Demo。对读者而言,它更像 GUI Agent 方向的一份地图,而不是单一工具,建议锁定一个版本(当前为 v3.5)并按其 README 操作,而不是停留在根目录。
本文由 AI 根据项目 README 生成,更新于 ,以项目官方文档为准。
相关推荐
- kuafuai/andee一个住进 Android 手机或 Mac 的本地智能体,借助无障碍服务像用户一样操作任意 App,无需集成或 Root。
- callstack/agent-device面向 AI 编程 Agent 的设备控制层,提供 CLI、MCP 服务和 Node.js API,用于在模拟器、真机及云设备上检查、操作和验证移动端、电视、Web 与桌面应用。
- tapilot-ai/tapilot用自然语言操控 Android 手机执行跨应用任务的实验性应用,依赖视觉模型和 Android 无障碍权限。
- minitap-ai/mobile-use用自然语言指令驱动 Android 和 iOS 真机或模拟器完成操作,并可把结果整理成结构化数据的 AI Agent。
- AAswordman/Operit开源的 Android AI Agent 应用,把云端或本地模型接到工具、终端、浏览器和设备自动化上执行任务。