搜索你想找的开源项目

输入名称、用途或关键词,也可粘贴 GitHub 仓库链接

分享到微信

当前解读页的微信分享二维码

用微信扫一扫打开,点击右上角「···」分享给朋友或朋友圈。

手机上可截屏后,在微信扫一扫中从相册识别二维码。

ZSeven-W/dsh-android

AI 工程

把 Android 模拟器或 USB 手机实时串流进对话,并通过 adb 驱动它完成构建、安装与 UI 操作。

355
36
TypeScript
MIT
创建于 2 个月前

项目介绍

DSH Android 是 DeepSeek Harness(DSH)的插件,把一台 Android 设备——模拟器或 USB 手机——放进对话里。Agent 通过 20 个工具完成列举设备、启动模拟器、截屏、点击/输入/滑动、构建并安装 Gradle 项目、读取 UI 树、看 logcat、检查进程和内存等操作(工具清单)。

串流不依赖外部服务:本机常驻一个 adb exec-out 子进程循环执行 screencap -p,由宿主进程把拼接在一起的 PNG 自行拆帧,因此没有内部端口,也没有需要回收的独立串流服务。画面显示在侧边栏面板中,可以直接在视频上点击、拖拽、旋转,并使用 Back / Home / Recents 三键导航。设备唯一身份就是 adb serial,模拟器、USB 手机和 ip:port 目标走完全相同的代码路径。

安装与首次使用

前提:Node ≥ 24.11.0、Android SDK platform-tools 提供的 adb,以及一台 adb 状态为在线的设备(手机需开启 USB 调试)。OCR 相关工具还要求 macOS 宿主机的 Vision 框架。

  1. 把插件装进 web profile 并启动 DSH:

    dsh plugin --profile web add @zseven-w/dsh-android@latest
    dsh web
    
  2. 让 Agent 列出设备(调用 android_devices),取得 serial。

  3. 让它串流该 serial(调用 android_boot),侧边栏面板会打开并显示实时画面。传 AVD 名称则会先启动该模拟器再串流。

  4. 直接在视频上点击操作,或让 Agent 打开应用、导出 UI 树、OCR 识别屏幕文字、读取日志。

  5. 调试应用时,把 Gradle 项目路径交给 android_build_run,它会执行 assembleDebug、安装 debug APK 并启动。

找不到 adb 时,错误信息会说明三级查找顺序(ADB 环境变量、PATH、ANDROID_HOME/ANDROID_SDK_ROOT 下的 platform-tools);完全没有安装可参考 platform-tools 下载。

使用约束

  • 宿主平台: 20 个工具在任意平台都可用,但 android_find_text、android_tap_text、android_wait_for 依赖 macOS 的 Vision 框架;Linux/Windows 上会提示 OCR 不可用,除非通过 DSHPLUGIN_ANDROID_OCR_BACKEND 等环境变量接入 Tesseract。
  • 非 ASCII 输入: adb shell input text 只支持 ASCII,未安装 ADBKeyboard 并设为当前输入法时,中文和 emoji 输入会被直接拒绝,不会静默输入错误字符。
  • 实体设备: android_shutdown 无法关闭手机(adb 没有该能力);USB 串流帧率约 2–5 fps,低于模拟器的约 5–10 fps。
  • 面板需要 DSH ≥ 0.1.0-rc.6 且带 web 包; 无界面(headless)配置下 20 个工具照常可用。
  • 内嵌访问: 插件路由只允许本机回环访问并用 HMAC 签名;经反向代理暴露时需在 trustedAuthorities 中登记公网主机。Origin 校验属于浏览器防护而非身份认证,这些路由只应放在会做鉴权的代理之后。
  • 许可证: MIT。

HotRepo 点评

这套实现刻意只保留一条 adb 代码路径,并用常驻子进程在内存中逐帧输出 PNG,换来的是结构简单和更小的攻击面,代价是帧率:README 给出的实测约为 Android 14 模拟器 8 fps、USB 手机 2–5 fps。路线图已经指出自然的升级方向——在可插拔的 StreamSource 接缝后面换成 scrcpy-server 加 WebCodecs H.264。对 Agent 辅助的 Android 测试来说,它覆盖了从发现设备、串流、交互到构建安装、读日志和崩溃信息的一整条链路;需要提前考虑的主要限制是 OCR 仅在 macOS 可用。该仓库目前没有 HotRepo 的名次或涨星记录,以上判断基于文档描述的架构和工具能力。

本文由 AI 根据项目 README 生成,更新于 ,以项目官方文档为准。

相关推荐

  1. ZSeven-W/dsh-ios为编程 Agent 提供 22 个工具,在会话内启动、构建并操控 iOS 模拟器或 USB 真机,带可点拖的实时侧栏。TypeScript469
  2. hridaya423/phonedriver让 AI 代理通过 MCP 和命令行读取并操控 Android 手机与 iPhone 屏幕,付款类操作前先向人确认。Rust150
  3. phone-harness/mcp这是一个托管 MCP 服务,让 AI 智能体在云端操控真实 iPhone 和 Android 模拟器。Python812
  4. KnifeLemon/Droidline用 Python、Node.js、C#、命令行、HTTP 或 Appium 驱动真实 Android 手机做自动化和测试,无需 ADB、USB 或 root。Go547
  5. ccch1mneyyy/dsh-Go把 DeepSeek Harness 编码智能体装进 Android 手机,支持本机运行或远程连接电脑主机。Dart19,726