Hands：一个能看 Windows 桌面、操作真实 Chrome 的 Rust MCP/CLI

作者做 Hands，起因很明确：他想要一个 coding agent，能像自己平时使用电脑那样操作这台 Windows PC 和真实的 Chrome profile。流程就是看屏幕、移动真实鼠标、输入、点击，不把 Chrome 变成自动化专用浏览器。

它是什么

Hands 是一个 Rust 写成的 MCP/CLI。外层的 harness 可以是 Grok、Codex、Claude Code、OpenCode 等，通过一组工具来调用它，比如 observe、click、type、scroll。

其中 observe 返回的是截图路径，再加上一份小型元素列表，来源包括 UIA 和可选的 Chrome DOM ids。click 则直接走操作系统的 SendInput，轨迹是 Bézier 曲线，不是通过 Chrome DevTools 触发点击。

它怎么操作 Chrome

这套方案里没有 Playwright，没有 Puppeteer，也没有 remote debugging port。日常使用的 Chrome 启动时不需要额外 flags；如果浏览器已经开着，也可以直接附着到当前实例。

对那些会检查 CDP 或自动化标记的网站来说，大多数情况下看不出异常。不过，被注入的输入仍然可能被识别，文中提到的是 LLMHF_INJECTED。

扩展的作用

项目配了一个很小的 unpacked Chrome 扩展，用来把页面结构和视觉信息拼起来。像 chr: ids、listing cards 这类内容会补进去，模型就不用只靠像素猜页面。

这个 sideload 过程需要手动完成。如果 service worker 失活，这层 fusion 也会失效，需要重新加载对应卡片。

适合做什么

Hands 比较适合放在自己的桌面环境里做个人研究类任务。作者举的例子包括：

• 在 cars.com 上找一辆 Camry
• 阅读某个页面
• 填一个 ZIP
• 关掉 cookie banner

不适合什么场景

1. 它不是沙箱

Hands 可以点击屏幕上出现的任何东西，checkout 和 Easy Apply 也不例外。

2. 涉及付款的确认机制不是绝对保险

项目里有一套 confirm-before-money 机制，不过只是二进制程序中的 best-effort classification，不能当成保证。截图和 DOM 里的 prompt injection 风险是真实存在的。二进制程序会把这些文本视作不可信内容，模型未必也会这么处理。

3. 它不是日常 Chrome 下的 CAPTCHA 求解器

遇到 CAPTCHA，最多尝试两次，而且要求题目处于可见状态。两次之后它会停下来，等待谜题自行消失。

4. 目前只支持 Windows

这一点很直接，当前版本就是 Windows only。

安装和接入

安装流程包括几步：构建 exe、注册 native-messaging host、sideload 扩展，再把 MCP client 指向 hands mcp。README 就是完整 runbook。

文中还提到，缺少 API key 不会导致构建失败，因为 do_task 是可选项。

日志和权限

日志目录位于 %LOCALAPPDATA%\hands\logs\。

扩展会申请权限，用来映射当前正在查看的标签页。

仓库信息

项目仓库地址：https://github.com/Ryan-AI-Studios/hands

协议是 MIT。

作者表示，关于 observe、fusion 和 fence 的实现细节都可以继续讨论。如果要亲自试用，Pause/Break 是 kill switch。