不看截图也能让 agent 点鼠标：Vercel agent-desktop 用系统无障碍树当眼睛

Vercel Labs 的 agent-desktop 刚到 1.0.2 版（10 月 30 日），11 月 3 日核验已有 9711 星。它是一个 Rust 写的命令行工具加 C 库，Apache-2.0 开源，跑在 macOS、Windows、Linux 上，里面没有模型——任何能跑 shell 命令的 coding agent，Claude Code、Codex、Cursor 的命令行都能拿它当手。用法是三步循环：先给应用拍一张快照，拿到一串带编号的元素；按编号点按、输入；再拍一张快照确认结果对不对。它和截图式电脑操作最关键的区别，是“眼睛”不一样。截图路线是模型看像素猜坐标，点错了都不知道错在哪；agent-desktop 直接读操作系统自带的无障碍树，也就是读屏软件读的那套结构，按钮、角色、状态都是系统现成的，编号过期了会明确报错，而不是悄悄点错地方。项目方自报的数据是：Slack 这类界面密集的应用，用骨架遍历只要 3.6KB，对比完整树 17.3KB，省 78% 到 96% 的 token——这个数字是项目方自己的，还没有独立基准验证，读的时候要打折。怎么用起来：装一句命令就行，装完先给 agent 配好它的技能说明，让它按“快照—行动—再快照”的循环走，别跳过验证那一步。边界也得说清：没有无障碍树的界面它看不见，游戏、画布类、自定义渲染的应用不在它的射程内；网页自动化也不是它的活，官方指路是配合同门的 agent-browser；快照和剪贴板可能含私人桌面内容，别往公开日志里贴。我的判断是：电脑操作的瓶颈正在从“模型看不看得懂屏幕”变成“系统给不给结构化的手”，这一步对小团队更友好——不用买视觉模型，也能让 agent 去点那些没有 API 的老应用。