zai-org/Open-AutoGLM
AI 工程基于 AutoGLM 视觉语言模型,通过 ADB/HDC 操控 Android、鸿蒙手机执行自然语言指令的手机 Agent 框架。
项目介绍
Open-AutoGLM 是一个手机端智能助理框架,核心是让 AutoGLM 视觉语言模型读取手机屏幕、规划动作,再通过 ADB(Android)或 HDC(鸿蒙)把动作执行到设备上。用户用自然语言描述任务,Agent 负责拆解意图、理解当前界面并逐步完成。iOS 设备另有基于 WebDriverAgent 的配置路径。
工作循环是:截图 → 模型理解界面并输出动作 → 控制工具执行 → 进入下一步。动作包括 Launch、Tap、Type、Swipe、Back、Home、Long Press、Double Tap、Wait,登录或验证码场景会触发人工接管,敏感操作支持通过回调二次确认。项目还支持 WiFi 远程调试和按设备 ID 指定目标。
仓库提供的是 Agent 代码和模型客户端,不包含模型本身。官方发布的模型有面向中文应用的 AutoGLM-Phone-9B 和支持英文场景的 AutoGLM-Phone-9B-Multilingual,可从 Hugging Face 或 ModelScope 获取(模型下载地址)。
快速使用
前置条件:Python 3.10+,Android 7.0+ 或鸿蒙设备,已开启开发者模式和 USB 调试,且有一个可访问的模型服务。在 macOS 上先安装 platform-tools 并加入 PATH:
export PATH=${PATH}:~/Downloads/platform-tools
adb devices
输出中应出现你的设备;如果为空或显示 unauthorized,说明手机还没授权 USB 调试。Android 设备还需安装 ADB Keyboard 并在输入法设置中启用,否则无法输入文本;鸿蒙设备使用原生输入法,不需要这一步。
然后安装 Agent:
git clone https://github.com/zai-org/Open-AutoGLM.git
cd Open-AutoGLM
pip install -r requirements.txt
pip install -e .
接下来准备模型服务,二选一:使用智谱 BigModel 或 ModelScope 的托管服务并申请 API Key;或按 README 给出的参数用 vLLM / SGLang 自行启动 OpenAI 兼容服务,本地 vLLM 的地址为 http://localhost:8000/v1。部署完成后可先跑检查脚本:
python scripts/check_deployment_cn.py --base-url http://localhost:8000/v1 --model autoglm-phone-9b
正常输出应包含一段思考过程和类似 <answer>do(action="Launch", app="京东") 的动作;如果思考链过短或出现乱码,通常说明模型服务配置有问题。
最后执行任务:
python main.py --base-url http://localhost:8000/v1 --model "autoglm-phone-9b" "打开美团搜索附近的火锅店"
不带任务参数运行 main.py 会进入交互模式。鸿蒙设备加 --device-type hdc,使用托管 API 时加 --apikey。同样的流程也可以通过 phone_agent 包中的 PhoneAgent 和 ModelConfig 在 Python 中调用。python main.py --list-apps 可查看已映射的应用,Android 50+ 款、鸿蒙 60+ 款。
iOS 用户需参考 iOS 配置文档,使用 WebDriverAgent 而不是 ADB。
使用约束
- 模型服务是外部依赖。 Agent 代码不含模型,要么调用托管 API,要么本地部署;README 建议本地部署准备 24GB+ 显存并下载约 20GB 模型文件。
- 设备权限影响可用性。 部分机型需要同时开启「USB 调试」和「USB 调试(安全设置)」才能正常点击;连接线必须支持数据传输。
- 敏感界面会中断自动化。 支付、银行、密码类页面通常截图黑屏,Agent 会检测到并请求人工接管。
- 使用范围。 项目声明仅供研究和学习,另附使用条款;不得用于非法获取信息或干扰系统。
- 平台覆盖。 原生支持 Android 和鸿蒙,iOS 走单独的 WebDriverAgent 配置流程。
HotRepo 点评
Open-AutoGLM 是智谱手机 Agent 模型的开源配套框架,分工很清晰:仓库负责设备控制、提示词和动作循环,视觉模型负责推理。这种拆分让它可以在没有 GPU 的情况下通过托管接口使用,也是部署前最需要理解的一点。README 反复强调先确认 adb devices 和安装 ADB Keyboard,这两点正是手机屏幕自动化在真机上最常见的卡点:设备授权和文本输入。该仓库目前没有 HotRepo 榜单或增长记录,因此不对热度趋势作判断。
本文由 AI 根据项目 README 生成,更新于 ,以项目官方文档为准。
Hacker News 讨论
相关推荐
- phone-harness/phone-harness让编程 Agent 通过 Python CLI 点击、输入、滚动并读取真实 iPhone 或 Android 手机。
- tapilot-ai/tapilot用自然语言操控 Android 手机执行跨应用任务的实验性应用,依赖视觉模型和 Android 无障碍权限。
- phoneuse-official/phoneuse在 Mac 上通过提示词、实时画面、REST 与 MCP 控制 USB 连接的 iPhone 的开源本地工具。
- mylea1/phongent用自然语言从一台 iOS 或安卓主控管理多台安卓设备 agent,集中查看进度、消息与实时画面。
- droidrun/mobilerun用自然语言驱动真实 Android 和 iOS 设备的 LLM 无关框架,可通过 CLI 或 Python API 完成点击、滑动、输入和多步任务。