搜索你想找的开源项目

输入名称、用途或关键词,也可粘贴 GitHub 仓库链接

分享到微信

当前解读页的微信分享二维码

用微信扫一扫打开,点击右上角「···」分享给朋友或朋友圈。

手机上可截屏后,在微信扫一扫中从相册识别二维码。

bytedance/UI-TARS

机器学习

多模态 GUI 智能体模型,先推理再操作桌面、浏览器、手机和游戏界面。

11,696
889
Python
Apache-2.0
创建于 1 年前

项目介绍

UI-TARS 是字节跳动 Seed 团队开源的 GUI 智能体模型研究项目。它接收屏幕截图和任务指令,先输出一段 Thought 推理当前界面状态,再给出 Action(单击、双击、右键、拖拽、输入、滚动、长按、打开应用、返回桌面等),由外部程序执行。当前公开权重是 UI-TARS-1.5-7B,基于视觉语言模型,并用强化学习训练推理过程;更新日志里还提到了能力更强的 UI-TARS-2 及单独技术报告,但公开可下载的主要是 7B 版本。

仓库本身侧重推理侧和动作后处理:模型卡与权重在 Hugging Face,部署说明在 README_deploy.md,桌面、移动端和纯定位三类提示词模板在 codes/ui_tars/prompt.py,另有一个 Python 包把模型原始文本解析成可执行的 pyautogui 动作。它面向评估或集成 GUI 智能体的研究者和工程师;只想在个人电脑上使用的用户应改用独立的 UI-TARS-desktop。

快速使用

  1. 先按 部署与推理说明 部署 Hugging Face 上的模型并跑通第一次预测。
  2. 安装动作解析包:
pip install ui-tars
# 或
uv pip install ui-tars
  1. 把模型返回文本解析成可执行的 pyautogui 代码。factor 和原始宽高必须与所用模型的坐标约定一致:
from ui_tars.action_parser import parse_action_to_structure_output, parsing_response_to_pyautogui_code

response = "Thought: Click the button\nAction: click(start_box='(100,200)')"
original_image_width, original_image_height = 1920, 1080
parsed = parse_action_to_structure_output(
    response, factor=1000,
    origin_resized_height=original_image_height,
    origin_resized_width=original_image_width,
    model_type="qwen25vl"
)
code = parsing_response_to_pyautogui_code(parsed, image_height=original_image_height, image_width=original_image_width)
print(code)
  1. 从 提示词模块 中选择与目标环境匹配的模板(COMPUTER_USE、MOBILE_USE 或 GROUNDING),再把截图和任务描述送入模型。Qwen 2.5-VL 系列使用绝对坐标,自行编写后处理时需参考仓库中的坐标处理说明。

评测结果

README 给出的 UI-TARS-1.5 数据包括:OSWorld(100 步)42.5、Windows Agent Arena(50 步)42.1、WebVoyager 84.8、Online-Mind2web 75.8、Android World 64.2;定位能力 ScreenSpot-V2 94.2、ScreenSpotPro 61.6。另有 Poki 小游戏逐项对比和 Minecraft 任务平均值。这些都是作者在指定 benchmark 上报告的结果;公开的 7B 权重低于完整版 UI-TARS-1.5(OSWorld 27.5 对 42.5),因此用可下载权重复现时数值会与表格不同。

使用约束

  • 公开的 7B 模型主要面向通用电脑操作,未针对游戏场景优化,游戏表现明显弱于未公开的 UI-TARS-1.5。
  • 长流程或大规模任务仍需较多算力。
  • 模型可能在陌生或模糊界面中误判元素、给出错误动作;作者也说明它能够完成 CAPTCHA 类验证,用于自动化第三方服务时存在滥用和触发风控的问题。
  • 表现最好的 UI-TARS-1.5 以研究合作方式提供,需要联系作者,不在公开下载范围。
  • 仓库采用 Apache-2.0 许可,用于商业场景前仍需核对其权重页面上的条款。

HotRepo 点评

UI-TARS 是分量很重的研究型仓库:2025 年 1 月创建,几个月后约 11.7k Star、889 Fork,与其持续发布 benchmark 结果和模型更新的节奏相符。本站尚未记录到该项目进入 GitHub 全部语言日榜,因此没有可引用的排名热度信号;站内仅有 2025 年 5 月一条小型 Hacker News 讨论,评论者将其概括为可广泛对接工具的开源多模态 AI 智能体 讨论。从仓库本身看,关键是公开 7B 权重与未公开的完整版之间存在明显差距——把 README 的评测表当作可下载模型的性能上限,而不是实际拿到手的水平,是使用前最应留意的一点。

本文由 AI 根据项目 README 生成,更新于 ,以项目官方文档为准。

Hacker News 讨论

GitHub – ByteDance/UI-Tars
▲ 2 · 1 条评论 · 2025年5月12日

相关推荐

  1. Supra-3D/PhysAg3D把单张图片变成带关节和可形变区域的可交互 3D 资产,由 3D 生成器与智能体协同完成建模和物理校验。Python106
  2. MiniMax-AI/MiniMax-H3-Image开源权重的高分辨率图像生成与编辑模型,单检查点同时支持文生图和参考图编辑。117
  3. solidsf-inc/solidcv一个纯 Rust 计算机视觉库,想替掉 C++ OpenCV 的编译链,并为视觉语言模型管线提速。Rust254
  4. ubc-vision/solv3r预训练的多视图 3D 重建模型,可从图片或视频序列求解相机位姿与点图。Python158
  5. MUSE-AI-Lab/Concept-Brittleness用逐步稀疏自编码器诊断并修复文生图扩散模型中随对象变化的概念失效。Python262