Claude Code接管电脑使用教程

📖 项目简介

UI-TARS Desktop 是字节开源的桌面软件：它截一张屏幕，用视觉模型看懂按钮和输入框，再自己移鼠标、点击、打字。GitHub 仓库搜 bytedance/UI-TARS-desktop，现约 3.88 万星（2026-09-05），协议 Apache-2.0。

同一仓库里还有一套 Agent TARS（命令行 + 网页界面），内核建在 MCP 上。Claude Code 也原生支持 MCP——把它挂进 Claude Code 后，Claude Code 负责动脑写代码，它负责动手点软件、截图验证，从想到做闭环。

Windows 和 macOS 都能装。浏览器模式要本机先装 Chrome、Edge 或 Firefox；官方目前按单显示器设计，多屏容易点偏。设置里要选对视觉模型供应商，解析动作才稳。

📎 相关链接与下载地址（点击展开）

GitHub：搜索 bytedance/UI-TARS-desktop
安装包：进仓库 Releases 页，下载最新桌面版。
苹果电脑：已装 Homebrew 可执行 brew install --cask ui-tars
模型：火山方舟搜 Doubao-1.5-UI-TARS，或 Hugging Face 搜 UI-TARS-1.5-7B
更多教程：关注公众号 / 抖音 / 视频号「IT小圈」

✨ 核心亮点

🖱️

看屏幕自己点

不读软件接口，截屏看像素，像人一样点按钮、填输入框。

🔗

能挂进 Claude Code

双方都支持 MCP，Claude Code 动脑写代码，它动手点软件。

🌐

电脑和浏览器都能操

本地软件用 Computer 模式，网页用 Browser 模式，一套界面切换。

🧠

专用视觉模型

设置里选 UI-TARS 系列模型，动作解析才跟得上点击坐标。

🧩 它能做什么、输出什么

项目	说明
输入	一句自然语言任务，例如「把 VS Code 自动保存延迟改成 500」「画出杭州一个月天气」
适用类型	本机桌面软件、网页表单、日历/下拉框等图形界面；有现成接口的事先走接口
输出	真实点击 / 输入 + 屏幕截图 + 对话里的步骤说明；浏览器模式还能抓页面再出图
语言 / 兼容	中英文指令都可；桌面版 Windows 与 macOS；浏览器模式需本机已装 Chrome / Edge / Firefox
规格 / 容量	官方按单显示器设计；多屏容易点偏。要先在设置里配好视觉模型才能开工

🖥️ 环境要求

环境	建议配置
操作系统	Windows 或 macOS。苹果电脑要给辅助功能、屏幕录制权限
运行环境	最新桌面安装包；浏览器模式另需 Chrome / Edge / Firefox
硬件	普通笔记本即可。视觉模型走云端接口时不需要本机独显
低配 / 无卡方案	用火山方舟或 Hugging Face 上的 UI-TARS 接口，本机只负责截屏和点鼠标
关键依赖	设置里填好 VLM Provider、Base URL、API Key、Model Name；苹果电脑还要开辅助功能

🚀 如何使用

💡

最短路径：Releases 下载安装包 → 设置里填 UI-TARS 视觉模型 → 选 Computer 或 Browser → 发一句「把这个设置改成 XXX」。

下载并安装桌面版

在 GitHub 搜索 bytedance/UI-TARS-desktop，进 Releases 下载最新安装包。Windows 直接运行；苹果电脑拖进应用程序。已装 Homebrew 的苹果电脑也可以一条命令装。

                        bash
                        brew install --cask ui-tars
                    

填视觉模型

打开设置，选对 VLM Provider。国内常用火山方舟的 Doubao-1.5-UI-TARS；也可以用 Hugging Face 上的 UI-TARS-1.5。Provider 选错，点击坐标会解析乱。

                        settings
                        VLM Provider → VolcEngine Ark for Doubao-1.5-UI-TARS
VLM Model Name → doubao-1.5-ui-tars-250328
                    

跑通一个最小例子

新建对话，模式选 Computer，先开着 VS Code，把下面这句话发出去。

                        prompt
                        打开 VS Code 设置，把 Files: Auto Save Delay 改成 500
                    

设置里这几项必须填对：

字段	含义
VLM Provider	必须选 UI-TARS 对应供应商，别选成普通对话模型
VLM Base URL	接口地址，Hugging Face 方案要以 /v1/ 结尾
VLM API KEY	对应平台的密钥
VLM Model Name	和供应商匹配的模型名，填错会点不准

换成浏览器模式

本机先装好 Chrome、Edge 或 Firefox。模式切到 Browser，适合搜网页、填表、抓数据再出图。

                        prompt
                        画出杭州一个月的天气柱状图
                    

结合 Claude Code：动脑动手闭环

Agent TARS 的内核是 MCP，Claude Code 原生支持 MCP。把 TARS 的 MCP 服务挂进 Claude Code 后，写完代码可以直接让它打开软件点一遍、截图回报。苹果电脑记得先在系统设置里给 UI TARS 辅助功能、屏幕录制权限。

                        bash
                        claude mcp add ui-tars -- npx -y @agent-tars/cli
# 只要浏览器操控可以换：
claude mcp add browser -- npx -y @agent-infra/mcp-server-browser
                    

✅

Claude Code 负责动脑写代码，它负责动手点软件、截图验证——从想到做全程闭环。

🎯 典型应用场景

⚙️

改软件设置

VS Code 这类软件没有现成命令时，让它自己点齿轮、搜、改数字。

📊

搜数据出图

一句话要天气、行情，它自己打开网页抓表，再生成柱状图。

🏨

网页填表查询

日期、地点、下拉框，它按你的条件自己填、自己点。

🧰

没有接口的工具

设计软件、专有客户端，只剩图形界面能点的时候用它。

🧪

复现界面操作

让它按步骤点一遍，看哪一下点偏、哪一页没加载完。

🖥️

单屏本机操作

官方按一块屏幕设计，先在主屏上跑，别一上来就多屏。

📈 和同类怎么选

对比	说明
只用 Claude Code	它只会改文件、跑命令；配上 TARS 后多了一双手，能点没有命令行的界面
只改文件、只跑命令	有命令就走命令；没接口、只能点界面时，才用看屏幕这一手
普通浏览器自动点	网页用它的 Browser 模式；本机软件用 Computer 模式，两套能切
桌面版和 Agent TARS 怎么选	想看鼠标在桌面上动用 Desktop；想挂进 Claude Code 走 MCP 用 Agent TARS

🧠

它靠视觉模型估坐标，复杂界面偶尔会点偏。任务拆小、单屏、模型选对，比一句话丢一个超长流程稳。

❓ 常见问题

Q: 怎么和 Claude Code 一起用？

Agent TARS 内核是 MCP，Claude Code 原生支持 MCP，用 claude mcp add 挂进去即可。也可以只装桌面版单独用，不开 Claude Code 也能点本机界面。

Q: Windows 能用吗？

能。Windows 和 macOS 都有安装包。苹果电脑还要在系统设置里打开辅助功能、屏幕录制。

Q: 设置里模型怎么选？

必须选 UI-TARS 对应的供应商。火山方舟选 Doubao-1.5-UI-TARS；Hugging Face 选 UI-TARS-1.5。选成普通对话模型，点击坐标会解析乱。

Q: 为什么它会点偏？

它按屏幕像素估坐标，多显示器、缩放不是 100%、窗口被挡住，都容易偏。先单屏、主窗口最大化，再把任务拆小。

Q: 浏览器模式打不开？

本机先装 Chrome、Edge 或 Firefox。没装浏览器的机器只能走 Computer 模式点桌面软件。

Q: 电脑锁屏或休眠还能跑吗？

不能。它要看得见屏幕。锁屏、休眠、关了被控窗口，点击就会停。

Q: 没独立显卡能不能用？

能。视觉模型走云端接口时，本机只负责截屏和模拟键鼠，不需要独显。

Q: 协议是什么，能不能用在自己项目里？

仓库是 Apache-2.0。具体条款看仓库里的 LICENSE，按协议使用即可。