ZSeven-W/dsh-android
AI 工程把 Android 模拟器或 USB 手机实时串流进对话,并通过 adb 驱动它完成构建、安装与 UI 操作。
项目介绍
DSH Android 是 DeepSeek Harness(DSH)的插件,把一台 Android 设备——模拟器或 USB 手机——放进对话里。Agent 通过 20 个工具完成列举设备、启动模拟器、截屏、点击/输入/滑动、构建并安装 Gradle 项目、读取 UI 树、看 logcat、检查进程和内存等操作(工具清单)。
串流不依赖外部服务:本机常驻一个 adb exec-out 子进程循环执行 screencap -p,由宿主进程把拼接在一起的 PNG 自行拆帧,因此没有内部端口,也没有需要回收的独立串流服务。画面显示在侧边栏面板中,可以直接在视频上点击、拖拽、旋转,并使用 Back / Home / Recents 三键导航。设备唯一身份就是 adb serial,模拟器、USB 手机和 ip:port 目标走完全相同的代码路径。
安装与首次使用
前提:Node ≥ 24.11.0、Android SDK platform-tools 提供的 adb,以及一台 adb 状态为在线的设备(手机需开启 USB 调试)。OCR 相关工具还要求 macOS 宿主机的 Vision 框架。
-
把插件装进 web profile 并启动 DSH:
dsh plugin --profile web add @zseven-w/dsh-android@latest dsh web -
让 Agent 列出设备(调用
android_devices),取得 serial。 -
让它串流该 serial(调用
android_boot),侧边栏面板会打开并显示实时画面。传 AVD 名称则会先启动该模拟器再串流。 -
直接在视频上点击操作,或让 Agent 打开应用、导出 UI 树、OCR 识别屏幕文字、读取日志。
-
调试应用时,把 Gradle 项目路径交给
android_build_run,它会执行assembleDebug、安装 debug APK 并启动。
找不到 adb 时,错误信息会说明三级查找顺序(ADB 环境变量、PATH、ANDROID_HOME/ANDROID_SDK_ROOT 下的 platform-tools);完全没有安装可参考 platform-tools 下载。
使用约束
- 宿主平台: 20 个工具在任意平台都可用,但
android_find_text、android_tap_text、android_wait_for依赖 macOS 的 Vision 框架;Linux/Windows 上会提示 OCR 不可用,除非通过DSHPLUGIN_ANDROID_OCR_BACKEND等环境变量接入 Tesseract。 - 非 ASCII 输入:
adb shell input text只支持 ASCII,未安装 ADBKeyboard 并设为当前输入法时,中文和 emoji 输入会被直接拒绝,不会静默输入错误字符。 - 实体设备:
android_shutdown无法关闭手机(adb 没有该能力);USB 串流帧率约 2–5 fps,低于模拟器的约 5–10 fps。 - 面板需要 DSH ≥ 0.1.0-rc.6 且带 web 包; 无界面(headless)配置下 20 个工具照常可用。
- 内嵌访问: 插件路由只允许本机回环访问并用 HMAC 签名;经反向代理暴露时需在
trustedAuthorities中登记公网主机。Origin 校验属于浏览器防护而非身份认证,这些路由只应放在会做鉴权的代理之后。 - 许可证: MIT。
HotRepo 点评
这套实现刻意只保留一条 adb 代码路径,并用常驻子进程在内存中逐帧输出 PNG,换来的是结构简单和更小的攻击面,代价是帧率:README 给出的实测约为 Android 14 模拟器 8 fps、USB 手机 2–5 fps。路线图已经指出自然的升级方向——在可插拔的 StreamSource 接缝后面换成 scrcpy-server 加 WebCodecs H.264。对 Agent 辅助的 Android 测试来说,它覆盖了从发现设备、串流、交互到构建安装、读日志和崩溃信息的一整条链路;需要提前考虑的主要限制是 OCR 仅在 macOS 可用。该仓库目前没有 HotRepo 的名次或涨星记录,以上判断基于文档描述的架构和工具能力。
本文由 AI 根据项目 README 生成,更新于 ,以项目官方文档为准。
相关推荐
- ZSeven-W/dsh-ios为编程 Agent 提供 22 个工具,在会话内启动、构建并操控 iOS 模拟器或 USB 真机,带可点拖的实时侧栏。
- hridaya423/phonedriver让 AI 代理通过 MCP 和命令行读取并操控 Android 手机与 iPhone 屏幕,付款类操作前先向人确认。
- phone-harness/mcp这是一个托管 MCP 服务,让 AI 智能体在云端操控真实 iPhone 和 Android 模拟器。
- KnifeLemon/Droidline用 Python、Node.js、C#、命令行、HTTP 或 Appium 驱动真实 Android 手机做自动化和测试,无需 ADB、USB 或 root。
- ccch1mneyyy/dsh-Go把 DeepSeek Harness 编码智能体装进 Android 手机,支持本机运行或远程连接电脑主机。