Vercel agent-desktop：别再让 agent 猜像素了，它直接读系统给的界面结构

10 月 31 日，Vercel 的 Chris Tate 在 X 上发布了 agent-desktop，一句话定位很准：agent-browser 是给整个网页的，agent-desktop 是给整台电脑的。它不是一个 agent，而是一个工具：Rust 写的命令行加 C 库，Apache-2.0 协议，10 月 30 日已出到 1.0.2，macOS、Windows、Linux 都能装，一条命令就行：npm install -g agent-desktop。

它解决的是电脑操作里最脆弱的一环：猜坐标。截图派的做法是让视觉模型看图、估一个点下去，窗口一动、分辨率一变就偏。agent-desktop 反过来读系统本来就暴露给无障碍功能的结构：macOS 的 AX、Windows 的 UIA、Linux 的 AT-SPI，拼成一份 JSON 快照，每个能点的、能填的元素都有一个 ref。agent 照着 ref 下指令，再读一遍界面核对，循环是“观察—行动—核对”，不是“截图—猜—祈祷”。默认还是无头模式：不抢鼠标、不夺焦点，你前台照常干活，agent 在后台各用各的光标并行跑。配套的 agent-desktop skills get desktop 能把用法直接教给调用它的 agent。

我的判断：先拿一个重复性桌面任务试，别一上来就接管整台电脑。比如每天固定打开某个应用、填几个字段、导出一份文件，这种任务最能看出 ref 稳不稳：跑一周，记下它在哪一步认错了元素、哪一步需要你接管。稳了再扩到第二个任务。安装前先确认一件事：你的应用有没有可用的无障碍信息——没有这份结构，agent-desktop 就看不见它，截图派反而还能蒙一下。另外注意版本还很年轻：有一份仓库 PR 提到 Windows 版 1.0.1 的崩溃问题，是否已进 1.0.2 未经证实，Windows 用户先在非关键机上试。

什么情况下这篇结论不成立：你的任务全在网页里，那 agent-browser 才是对的工具，agent-desktop 明确不做网页自动化；或者你要的是一个开箱即用的 agent、不是给 agent 用的工具，那它还要你自己接模型、写循环，买回来也只是半成品。