搜索你想找的开源项目

输入名称、用途或关键词,也可粘贴 GitHub 仓库链接

分享到微信

当前解读页的微信分享二维码

用微信扫一扫打开,点击右上角「···」分享给朋友或朋友圈。

手机上可截屏后,在微信扫一扫中从相册识别二维码。

ComputerUseAgent/AutoCua

AI 工程

让 LLM 智能体操控真实桌面、浏览器、Android 与 iOS 设备,适合自动化操作和探索性测试。

1,282
54
Rust
MIT
创建于 40 天前

项目介绍

AutoCua 是一个 Python 框架,让语言模型直接操作真实软件而不是 API:macOS、Windows、Linux 桌面,你正在用的 Chrome,iOS 模拟器或 USB 连接的 iPhone/iPad,以及 Android 模拟器或真机。只需要改 mode 字符串即可切换目标界面,其余调用方式不变。一个任务背后是一组分层智能体:掌控屏幕的父智能体、在真实终端里工作的 coder,以及 browser、iOS、Android 子智能体,各自独立进程运行;上下文变长时还有专门的压缩智能体生成交接摘要。

桌面路径不让模型猜坐标。每一步把操作系统无障碍树与 OCR 融合成带编号的元素列表和标注截图,模型只能选它见过的编号。输入走系统自身的输入层:macOS 的 kCGHIDEventTap、Windows 的 pywinauto 真实 SendInput,UAC 和 UIPI 场景可选用 Interception 内核驱动兜底。浏览器智能体是一个 Rust crate,编译成 Python 扩展随 wheel 分发;有窗口时通过扩展驱动你已登录的 Chrome,无头运行则在智能体自己的浏览器上走 DevTools 协议。

快速使用

需要 Python 3.10+ 和一个模型服务商 API key。从 PyPI 安装(包页面):

pip install AutoCua

新建 main.py,写一个 run_agent 调用,按需选择模式、服务商和模型(界面选择):

from AutoCua.agent_launcher import run_agent

run_agent(mode="browser", provider="openrouter", model="gemini-3.8-flash",
          task="Open wikipedia.org and summarise today's featured article.")

把 key 放进脚本旁的 .env 或在应用设置里填写,然后运行:

python main.py

模型名区分大小写,必须来自 model_list.txt。运行产生的聊天记录、浏览器配置、凭据库和技能都写入运行目录下的 AutoCua_data/ 文件夹。加 ui=True 会打开桌面窗口,而不是在终端里执行。从源码安装则运行对应平台的 setup 脚本,main.py 的用法相同(环境要求)。

需要提前准备的依赖

以下组件刻意不打进 wheel,需要你同意下载或手动安装:

  • Linux 桌面操作需要 GNOME(仅在 Wayland 的 Ubuntu 上测试,X11 未测试),并从发行版安装 AT-SPI、GTK 和 XDG RemoteDesktop portal 相关包,README 给出了 apt 命令(Linux 说明)。
  • iOS 需要完整 Xcode,并手动把 WebDriverAgent 克隆到固定标签 v15.1.1;目录缺失时 iOS 自动化保持暂停(iOS 设置)。
  • Android 模拟器在终端接受 Google SDK 条款后下载约 2.5 GB;Windows 需开启 Windows Hypervisor Platform,Linux 需给用户 KVM 权限(Android 设置)。
  • Windows UAC 应答是唯一需要第三方 Interception 内核驱动的功能,需以管理员身份自行安装;不装时所有模式照常工作,只是任务卡在提权弹窗(UAC 章节)。
  • 浏览器模式需要已安装 Google Chrome,AutoCua 不会代为下载。

使用约束

桌面、iOS 和 Android 模拟器运行都需要已登录的图形会话;headless=True 只对 Chrome 有效。作者明确说明这是语言模型在驱动真实软件:同一任务两次运行可能走不同路径,适合探索性测试、冒烟流程和重复性后台操作,不替代确定性的单元或集成测试,也没有自带断言框架。凭据库在填充密码时不让值进入模型上下文,但存储是磁盘上的明文 JSON,会把值回显到屏幕的字段不受保护。API key、Telegram bot token 和设置放在 .env,可用 AutoCua_DATA_DIR 改变数据目录。代码采用 MIT 许可证,而 Electron、WebDriverAgent、Interception 和 Rust crate 等组件各有自己的条款,见 THIRD_PARTY_NOTICES.md。

HotRepo 点评

站内记录很少:只有 2026 年 11 月一条 Show HN 帖,4 分、1 条评论,发帖者在评论里强调了本地执行、OCR 与无障碍树结合的扫描、canvas 和 UAC 支持,以及并行 daisy chain(讨论)。这里没有 GitHub 日榜名次,也没有 Star 采样曲线,因此 1,282 stars / 54 forks 无法与可观测的增长对照。从仓库本身能看到的,是对各界面驱动细节的完整交代——输入 tap 的选择、浏览器扩展与 CDP 两条路径、各平台前置条件——对判断是否适用比热度更有参考价值。代价是较重的原生依赖:源码安装要构建 Rust,平台专属的驱动与桌面组件,以及可选的多 GB 移动端工具链。

本文由 AI 根据项目 README 生成,更新于 ,以项目官方文档为准。

Hacker News 讨论

Show HN: AutoCua, one prompt drives computer, browser, phones, code at same time
▲ 4 · 1 条评论 · 2026年11月4日

相关推荐

  1. vercel-labs/agent-desktop通过操作系统无障碍树读取并操作桌面应用的 CLI 与 C 库,供 AI Agent 使用。Rust21,905
  2. ctoldigital/axuse让编程 Agent 通过无障碍树而非截图操控浏览器与桌面的 MCP 服务器,减少 token 与步骤。JavaScript494
  3. browser-use/browser-use让大模型通过 CDP 操控真实浏览器完成网页任务的 Python 库。Python120,670
  4. minitap-ai/mobile-use用自然语言指令驱动 Android 和 iOS 真机或模拟器完成操作,并可把结果整理成结构化数据的 AI Agent。Python3,403
  5. mylea1/phongent用自然语言从一台 iOS 或安卓主控管理多台安卓设备 agent,集中查看进度、消息与实时画面。Kotlin362