GPT-6自动接管电脑使用说明

📖 项目简介

UI-TARS Desktop 是字节开源的桌面软件：它截一张屏幕，用视觉模型看懂按钮和输入框，再自己移鼠标、点击、打字。GitHub 仓库搜 bytedance/UI-TARS-desktop，现约 3.89 万星（2026-09-15），协议 Apache-2.0。

同一仓库里还有一套 Agent TARS（命令行 + 网页界面），内核建在 MCP 上。GPT-6 的工具调用必须走 Responses 接口，tools 里用 type: "mcp" 加远程服务地址就能挂进去——GPT-6 负责拆任务、决定下一步点哪，它负责真的去点、再截图回传。

GPT-6 在 OSWorld 2.0 拿到 72.6%，但官方文档写明：模型本身只会提出动作，执行环境和动作执行由你的应用提供。真正落到屏幕上，得有这只手。

📎 相关链接与下载地址（点击展开）

GitHub：搜索 bytedance/UI-TARS-desktop
安装包：进仓库 Releases 页，下载最新桌面版。
苹果电脑：已装 Homebrew 可执行 brew install --cask ui-tars
模型：火山方舟搜 Doubao-UI-TARS，或 Hugging Face 搜 UI-TARS-1.5
GPT-6 文档：OpenAI 官方搜 MCP and Connectors、Computer use

✨ 核心亮点

🖱️

看屏幕自己点

不读软件接口，截屏看像素，像人一样点按钮、改设置。

🔗

能挂进 GPT-6

TARS 以 MCP 为内核，GPT-6 走 Responses 挂远程 MCP，一条配置接上。

🌐

桌面软件和浏览器

本地软件用 Computer 模式，网页用 Browser 模式，一套界面切换。

🧠

只提出动作

GPT-6 决定点哪，执行环境和键鼠动作由本机这只手完成。

🧩 它能做什么、输出什么

项目	说明
输入	一句自然语言任务，例如「把 VS Code 自动保存延迟改成半秒」「画出杭州一个月天气」
适用类型	本机桌面软件、网页、画图软件等图形界面；已有稳定接口的事先走接口
输出	真实点击 / 输入 + 屏幕截图 + 步骤说明
语言 / 兼容	中英文指令都可；桌面版 Windows 与 macOS；浏览器模式需本机已装 Chrome / Edge / Firefox
规格 / 容量	官方按单显示器设计。GPT-6 侧：Responses 接口、105 万 token 上下文；跑分 OSWorld 2.0 为 72.6%

🖥️ 环境要求

环境	建议配置
操作系统	Windows 或 macOS。苹果电脑要给辅助功能、屏幕录制权限
运行环境	最新桌面安装包；浏览器模式另需 Chrome / Edge / Firefox
硬件	普通笔记本即可。视觉模型走云端接口时不需要本机独显
低配 / 无卡方案	用火山方舟或 Hugging Face 上的 UI-TARS 接口，本机只负责截屏和点鼠标
关键依赖	设置里填好视觉模型；GPT-6 侧工具调用必须走 Responses，不要用 Chat Completions

🚀 如何使用

💡

最短路径：Releases 下载安装包 → 设置里填 UI-TARS 视觉模型 → 选 Computer 或 Browser → 发一句具体任务。要挂 GPT-6，再在 Responses 的 tools 里加上远程 MCP。

下载并安装桌面版

在 GitHub 搜索 bytedance/UI-TARS-desktop，进 Releases 下载最新安装包。Windows 直接运行；苹果电脑拖进应用程序。已装 Homebrew 的苹果电脑也可以一条命令装。

                        bash
                        brew install --cask ui-tars
                    

填视觉模型

打开设置，选对 VLM Provider。国内常用火山方舟的 Doubao-UI-TARS；也可以用 Hugging Face 上的 UI-TARS-1.5。Provider 选错，点击坐标会解析乱。

                        settings
                        VLM Provider → VolcEngine Ark for Doubao-UI-TARS
VLM Model Name → 对应供应商给出的 UI-TARS 模型名
                    

跑通一个最小例子

新建对话，模式选 Computer，先开着 VS Code，把下面这句话发出去。

                        prompt
                        打开 VS Code 设置，把 Files: Auto Save Delay 改成 500
                    

设置里这几项必须填对：

字段	含义
VLM Provider	必须选 UI-TARS 对应供应商，别选成普通对话模型
VLM Base URL	接口地址，Hugging Face 方案要以 /v1/ 结尾
VLM API KEY	对应平台的密钥
VLM Model Name	和供应商匹配的模型名，填错会点不准

换成浏览器模式

本机先装好 Chrome、Edge 或 Firefox。模式切到 Browser，适合搜网页、抓数据再出图。

                        prompt
                        画出杭州一个月的天气柱状图
                    

结合 GPT-6：动脑动手闭环

Agent TARS 的内核是 MCP。GPT-6 的工具调用必须走 Responses 接口，不能走 Chat Completions。在 tools 里挂远程 MCP 服务后，GPT-6 负责拆任务、决定下一步点哪，它负责真的去点、再截图回传。

                        json
                        tools: [{
  type: "mcp",
  server_url: "你的远程 MCP 服务地址",
  allowed_tools: ["需要开放的工具名"]
}]
                    

✅

GPT-6 负责动脑拆任务，它负责动手点软件、截图验证。官方也写了：已有稳定接口的事先走接口，电脑操作留给没有接口的界面。

🎯 典型应用场景

⚙️

改软件设置

VS Code 这类软件没有现成命令时，让它自己点齿轮、搜、改数字。

📊

搜数据出图

一句话要天气、行情，它自己打开网页抓表，再生成柱状图。

🎨

画图软件

打开 Krita 这类没有命令行的软件，选笔刷、调颜色、一笔笔画完。

🧰

没有接口的工具

设计软件、专有客户端，只剩图形界面能点的时候用它。

🧪

复现界面操作

让它按步骤点一遍，看哪一下点偏、哪一页没加载完。

🖥️

单屏本机操作

官方按一块屏幕设计，先在主屏上跑，别一上来就多屏。

📈 和同类怎么选

对比	说明
只用 GPT-6 自己的 computer 工具	模型会提出 click / type / screenshot；落地仍要你提供执行环境。配上 TARS，本机就有一只现成的手
只改文件、只跑命令	有命令就走命令；没接口、只能点界面时，才用看屏幕这一手
普通浏览器自动点	网页用它的 Browser 模式；本机软件用 Computer 模式，两套能切
桌面版和 Agent TARS 怎么选	想看鼠标在桌面上动用 Desktop；想挂进 GPT-6 走 MCP 用 Agent TARS

🧠

它靠视觉模型估坐标，复杂界面偶尔会点偏。任务拆小、单屏、模型选对，比一句话丢一个超长流程稳。

❓ 常见问题

Q: 怎么和 GPT-6 一起用？

GPT-6 工具调用必须走 Responses 接口，tools 里加 type 为 mcp 的远程服务。Agent TARS 内核就是 MCP，挂进去后 GPT-6 拆任务，它动手点。

Q: Windows 能用吗？

能。Windows 和 macOS 都有安装包。苹果电脑还要在系统设置里打开辅助功能、屏幕录制。

Q: 设置里模型怎么选？

必须选 UI-TARS 对应的供应商。火山方舟选 Doubao-UI-TARS；Hugging Face 选 UI-TARS-1.5。选成普通对话模型，点击坐标会解析乱。

Q: 为什么它会点偏？

它按屏幕像素估坐标，多显示器、缩放不是 100%、窗口被挡住，都容易偏。先单屏、主窗口最大化，再把任务拆小。

Q: 浏览器模式打不开？

本机先装 Chrome、Edge 或 Firefox。没装浏览器的机器只能走 Computer 模式点桌面软件。

Q: 电脑锁屏或休眠还能跑吗？

不能。它要看得见屏幕。锁屏、休眠、关了被控窗口，点击就会停。

Q: 没独立显卡能不能用？

能。视觉模型走云端接口时，本机只负责截屏和模拟键鼠，不需要独显。

Q: 协议是什么，能不能用在自己项目里？

仓库是 Apache-2.0。具体条款看仓库里的 LICENSE，按协议使用即可。口播和教程不谈价格、额度。