Vercel Labs 开源 agent-desktop，让 AI 智能体通过无障碍树操作桌面应用

我们在网站上使用 Cookie 来记住您的偏好和重复访问，从而为您提供最相关的体验。点击“接受”即表示您同意使用所有 Cookie。。

Cookie 设置拒绝接受

必要的始终启用

必要的 Cookie 对于网站的正常运行绝对必不可少。此类 Cookie 仅确保网站的基本功能和安全特性。这些 Cookie 不存储任何个人信息。

Cookie __cf_bm
持续时间 1 小时
描述此 Cookie 由 Cloudflare 设置，用于支持 Cloudflare Bot Management。
Cookie _pxvid
持续时间 1 年
描述 PerimeterX 设置此 Cookie 以检测欺诈和机器人活动。
Cookie _px3
持续时间 6 分钟
描述此 Cookie 由 Bloomberg 设置，以保护网站免受机器人攻击。
Cookie CookieLawInfoConsent
持续时间 1 年
描述 CookieYes 设置此 Cookie，以记录相应类别的默认按钮状态以及 CCPA 状态。它仅与主 Cookie 配合使用。
Cookie cookielawinfo-checkbox-necessary
持续时间 11 个月
描述此 Cookie 由 GDPR Cookie Consent 插件设置。该 Cookie 用于存储用户对“必要”类别中 Cookie 的同意。
Cookie cookielawinfo-checkbox-others
持续时间 1 年
描述此 Cookie 由 GDPR Cookie Consent 插件设置，用于存储用户对“其他”类别中 Cookie 的同意。
Cookie cookielawinfo-checkbox-non-necessary
持续时间 11 个月
描述此 Cookie 由 GDPR Cookie Consent 插件设置。该 Cookie 用于存储用户对“非必要”类别中 Cookie 的同意。
Cookie cookielawinfo-checkbox-analytics
持续时间 1 年
描述此 Cookie 由 GDPR Cookie Consent 插件设置，用于记录用户对“分析”类别中 Cookie 的同意。
Cookie cookielawinfo-checkbox-performance
持续时间 1 年
描述此 Cookie 由 GDPR Cookie Consent 插件设置，用于存储用户对“性能”类别中 Cookie 的同意。
Cookie cookielawinfo-checkbox-uncategorized
持续时间 1 年
描述此 Cookie 由 GDPR Cookie Consent 插件设置，用于记录用户对“未分类”类别中 Cookie 的同意。
Cookie cookielawinfo-checkbox-functional
持续时间 1 年
描述 GDPR Cookie Consent 插件设置此 Cookie，以记录用户对“功能”类别中 Cookie 的同意。
Cookie cookielawinfo-checkbox-advertisement
持续时间 1 年
描述此 Cookie 由 GDPR Cookie Consent 插件设置，用于记录用户对“广告”类别中 Cookie 的同意。
Cookie wpEmojiSettingsSupports
持续时间会话
Description WordPress sets this cookie when a user interacts with emojis on a WordPress site. It helps determine if the user's browser can display emojis properly.
Cookie VISITOR_PRIVACY_METADATA
持续时间 6 个月
描述 YouTube 设置此 Cookie，以存储当前域名的用户 Cookie 同意状态。
Cookie viewed_cookie_policy
持续时间 11 个月
描述此 Cookie 由 GDPR Cookie Consent 插件设置，用于存储用户是否同意使用 Cookie。它不存储任何个人数据。
Cookie PHPSESSID
持续时间
描述此 Cookie 是 PHP 应用程序原生的。该 Cookie 用于存储和识别用户的唯一会话 ID，以便在网站上管理用户会话。该 Cookie 是一个会话 Cookie，当所有浏览器窗口关闭时会被删除。
Cookie __cfduid
持续时间 4 周
描述此 Cookie 由 Cloudflare 设置。该 Cookie 用于识别共享 IP 地址后面的单个客户端，并按客户端应用安全设置。它不对应于 Web 应用程序中的任何用户 ID，也不存储任何个人身份信息。

功能性

功能性 Cookie 有助于执行某些功能，例如在社交媒体平台上分享网站内容、收集反馈以及其他第三方功能。

Cookie yt-remote-connected-devices
持续时间永不
描述 YouTube 设置此 Cookie，用于在使用嵌入式 YouTube 视频时存储用户的视频偏好设置。
Cookie ytidb::LAST_RESULT_ENTRY_KEY
持续时间永不
描述 Cookie ytidb::LAST_RESULT_ENTRY_KEY 由 YouTube 用于存储用户点击的最后一条搜索结果条目。此信息用于通过在未来提供更相关的搜索结果来改善用户体验。
Cookie yt-remote-device-id
持续时间永不
描述 YouTube 设置此 Cookie，用于在使用嵌入式 YouTube 视频时存储用户的视频偏好设置。
Cookie yt-remote-session-name
持续时间会话
描述 yt-remote-session-name Cookie 由 YouTube 用于在使用嵌入式 YouTube 视频时存储用户的视频播放器偏好设置。
Cookie yt-remote-fast-check-period
持续时间会话
描述 yt-remote-fast-check-period Cookie 由 YouTube 用于存储嵌入式 YouTube 视频的用户视频播放器偏好设置。
Cookie yt-remote-session-app
持续时间会话
描述 yt-remote-session-app Cookie 由 YouTube 用于存储用户偏好设置以及有关嵌入式 YouTube 视频播放器界面的信息。
Cookie yt-remote-cast-available
持续时间会话
描述 yt-remote-cast-available Cookie 用于存储用户的偏好设置，即他们的 YouTube 视频播放器是否支持投屏。
Cookie yt-remote-cast-installed
持续时间会话
描述 yt-remote-cast-installed Cookie 用于在使用嵌入式 YouTube 视频时存储用户的视频播放器偏好设置。
Cookie na_id
持续时间 1 年
描述此 Cookie 由 Addthis.com 设置，以便在 Facebook 和 Twitter 等社交媒体平台上共享链接。
Cookie vc
持续时间 1 年
描述此 Cookie 由 addthis.com 在允许社交媒体共享的网站上设置。
Cookie __atuvc
持续时间 1 年
描述此 Cookie 由 Addthis 设置，以确保如果您分享了某个页面并在我们的分享计数缓存更新之前返回该页面，您能看到更新后的计数。
Cookie __atuvs
持续时间 30 分钟
描述此 Cookie 由 Addthis 设置，以确保如果您分享了某个页面并在我们的分享计数缓存更新之前返回该页面，您能看到更新后的计数。
Cookie ouid
持续时间 1 年
描述此 Cookie 由 Addthis 设置，它允许在不同的网络和社交分享网站之间共享网站内容。

分析

分析型 Cookie 用于了解访问者与网站的互动方式。这些 Cookie 有助于提供访客数量、跳失率、流量来源等指标信息。

Cookie ga*
持续时间 1 年 1 个月 4 天
描述 Google Analytics 设置此 Cookie 以存储和计算页面浏览量。
Cookie _ga
有效期 2 年
描述此 Cookie 由 Google Analytics 安装。该 Cookie 用于计算访客、会话、活动数据，并跟踪网站使用情况以生成网站分析报告。Cookie 以匿名方式存储信息，并分配一个随机生成的数字来识别独立访客。
Cookie sbjs_migrations
有效期会话
描述 Sourcebuster 设置此 Cookie 以识别访问来源，并在 Cookie 中存储用户操作信息。该分析与行为 Cookie 用于提升网站的访客体验。
Cookie sbjs_current_add
有效期会话
描述 Sourcebuster 设置此 Cookie 以识别访问来源，并在 Cookie 中存储用户操作信息。该分析与行为 Cookie 用于提升网站的访客体验。
Cookie sbjs_first_add
有效期会话
描述 Sourcebuster 设置此 Cookie 以识别访问来源，并在 Cookie 中存储用户操作信息。该分析与行为 Cookie 用于提升网站的访客体验。
Cookie sbjs_current
有效期会话
描述 Sourcebuster 设置此 Cookie 以识别访问来源，并在 Cookie 中存储用户操作信息。该分析与行为 Cookie 用于提升网站的访客体验。
Cookie sbjs_first
有效期会话
描述 Sourcebuster 设置此 Cookie 以识别访问来源，并在 Cookie 中存储用户操作信息。该分析与行为 Cookie 用于提升网站的访客体验。
Cookie sbjs_udata
有效期会话
描述 Sourcebuster 设置此 Cookie 以识别访问来源，并在 Cookie 中存储用户操作信息。该分析与行为 Cookie 用于提升网站的访客体验。
Cookie sbjs_session
有效期 1 小时
描述 Sourcebuster 设置此 Cookie 以识别访问来源，并在 Cookie 中存储用户操作信息。该分析与行为 Cookie 用于提升网站的访客体验。
Cookie tk_or
有效期 1 年 1 个月 4 天
描述 JetPack 插件在使用了 WooCommerce 的网站上设置此引荐 Cookie，用于分析 Jetpack 的引荐来源行为。
Cookie tk_r3d
有效期 3 天
描述 JetPack 安装此 Cookie 以收集用户活动的内部指标并改善用户体验。
Cookie tk_lr
有效期 1 年
描述 JetPack 插件在使用了 WooCommerce 的网站上设置此引荐 Cookie，用于分析 Jetpack 的引荐来源行为。
Cookie tk_ai
有效期 1 年
描述 JetPack 设置此 Cookie 以存储随机生成的匿名 ID，该 ID 仅在管理区域内及用于常规分析跟踪。
Cookie tk_tc
有效期会话
描述 JetPack 设置此 Cookie 以记录用户如何使用网站的详细信息。
Cookie _gat_gtag_UA_5784146_31
有效期 1 分钟
描述 Google 用于区分用户。
Cookie GPS
有效期 30 分钟
描述此 Cookie 由 Youtube 设置，用于注册唯一 ID，以便根据用户的地理位置对其进行跟踪。
Cookie __gads
有效期 2 年
描述此 Cookie 由 Google 设置，存储名称为 doubleclick.com。此 Cookie 用于跟踪用户看到特定广告的次数，这有助于衡量活动的效果并计算活动产生的收入。这些 Cookie 只能从设置它们的域中读取，因此在浏览其他网站时不会跟踪任何数据。
Cookie uvc
有效期 1 年
描述此 Cookie 由 addthis.com 设置，用于确定 Addthis.com 服务的的使用情况。
Cookie ad-id
有效期 7 个月
描述由 amazon-adsystem.com 提供，用于跟踪用户在其他网站上的操作以提供定向内容
Cookie _gat_gtag_UA_116563943_1
有效期 1 分钟
描述 Google 使用此 Cookie 来区分用户。
Cookie _gid
有效期 1 天
描述此 Cookie 由 Google Analytics 安装。该 Cookie 用于存储访客如何使用网站的信息，并有助于创建关于网站表现的分析报告。收集的数据包括访客数量、来源以及以匿名形式访问的页面。

性能

性能 Cookie 用于了解和分析网站的关键性能指标，这有助于为访客提供更好的用户体验。

Cookie YSC
有效期
Description 此 Cookie 由 Youtube 设置，用于跟踪嵌入视频的观看次数。
Cookie _gat
有效期 1 分钟
Description 此 Cookie 由 Google Universal Analytics 安装，用于限制请求速率，以限制在高流量网站上收集数据。

广告 Cookie 用于向访客提供相关的广告和营销活动。这些 Cookie 会跨网站跟踪访客并收集信息以提供定制广告。

Cookie COMPASS
有效期 1 小时
描述 COMPASS Cookie 由 Yahoo 用于根据用户的在线行为提供定向广告。
Cookie NID
有效期 5 个月
Description 此 Cookie 用于根据用户的兴趣建立个人资料，并向用户展示个性化广告。
Cookie __Secure-YNID
有效期 6 个月
描述 Google Cookie，用于保护用户安全并防止欺诈，尤其是在登录过程中。
Cookie __Secure-ROLLOUT_TOKEN
有效期 6 个月
Description YouTube 设置此 Cookie 以管理功能推出和实验。它帮助 Google 控制在测试和分阶段推出过程中向用户显示哪些新功能或界面更改，从而确保给定用户在实验期间获得一致的体验。
Cookie yt.innertube::nextId
有效期永久
Description YouTube 设置此 Cookie 以注册唯一 ID，用于存储用户看过哪些 YouTube 视频的数据。
Cookie yt.innertube::requests
有效期永久
Description YouTube 设置此 Cookie 以注册唯一 ID，用于存储用户看过哪些 YouTube 视频的数据。
Cookie VISITOR_INFO1_LIVE
有效期 5 个月
描述此 Cookie 由 Youtube 设置。用于跟踪网站上嵌入的 YouTube 视频的信息。
Cookie TapAd_TS
有效期 1 个月
Description 此 Cookie 由 Tapad.com 设置。该 Cookie 的目的是跨设备跟踪用户以启用定向广告。
Cookie TapAd_DID
有效期 1 个月
Description 此 Cookie 由 tapad.com 设置。该 Cookie 的目的是跨设备跟踪用户以启用定向广告
Cookie personalization_id
有效期 2 年
描述此 Cookie 由 twitter.com 设置。它用于集成该社交媒体的分享功能。它还存储有关用户如何使用网站的信息，用于追踪和定向。
Cookie uid
有效期 1年
Description 此 Cookie 用于匿名衡量访问网站的访客数量和行为。数据包括访问次数、平均访问时长、访问的页面等，以便更好地了解用户偏好并提供定向广告。
Cookie loc
有效期 1年
Description 此 Cookie 由 Addthis 设置。这是一个地理定位 Cookie，用于了解分享信息的用户的所在地。
Cookie IDE
有效期 2年
Description 由 Google DoubleClick 使用，用于存储关于用户如何使用网站以及在访问网站之前访问过的任何其他广告的信息。这用于根据用户画像向用户展示与其相关的广告。
Cookie di2
有效期 1年
Description 此 Cookie 由 addthis.com 在允许社交媒体分享的网站上设置。该 Cookie 用于匿名追踪用户行为，以生成使用趋势，从而提高其服务和广告的相关性。

其他

其他未分类的 Cookie 是正在分析且尚未归类的 Cookie。

Cookie pxcts
有效期会话
Description 描述当前不可用。
Cookie _pxttld
有效期会话
Description 描述当前不可用。
Cookie SGPBShowingLimitationDomain77659
有效期 2天
Description 描述当前不可用。
Cookie __Secure-YEC
有效期过期
Description YouTube 设置此 Cookie，通过嵌入的 YouTube 视频来存储用户的视频播放器偏好
Cookie S
有效期 1小时
Description由 Yahoo 用于提供广告、内容或分析。
Cookie test_cookie
有效期 11个月
Description 此 Cookie 由 doubleclick.net 设置。此 Cookie 的目的是确定用户的浏览器是否支持 Cookie。
Cookie sc_at
有效期 1年
Description Snapchat 设置此 Cookie 用于根据用户的动态展示相关广告。
Cookie TapAd_3WAY_SYNCS
有效期 1个月
Description TapAd 设置此 Cookie 用于与广告网络进行数据同步。
Cookie _pin_unauth
有效期 1年
Description Pinterest 设置此 Cookie 以对无法识别的用户操作进行分组。
Cookie sc_anonymous_id
有效期 9年
Description Soundcloud 设置此 Cookie 以允许访客在网站上嵌入内容或文件。
Cookie um
有效期 1年
Description 由 addthis.com 设置。（用途未知）
Cookie DCRP_Categories
有效期 4周
Description 描述当前不可用。
Cookie vuid
有效期 2年
Description Vimeo 安装此 Cookie，通过设置唯一 ID 来收集追踪信息，以便在网站上嵌入视频。
Cookie X-AB
有效期 1天
Description Adobe Analytics 在多元测试的语境下设置此 Cookie。这是一个用于组合或更改网站内容的工具。这允许网站找到该网站的最佳变体或版本。
Cookie YTC
有效期 10分钟
Description YouTube 设置 YTC Cookie 以管理网站上视频的嵌入和观看。
Cookie sp_t
有效期 1个月
Description sp_t Cookie 由 Spotify 设置，用于在网站上实现 Spotify 的音频内容，并注册与音频内容相关的用户互动信息。
Cookie sp_landing
时长 1 天
描述 sp_landing 由 Spotify 设置，用于在网站上嵌入来自 Spotify 的音频内容，同时记录与音频内容相关的用户互动信息。
Cookie __asc
时长 30 分钟
描述 Alexa Metrics 设置此 cookie 用于追踪并将信息报告给 Alexa 分析服务。
Cookie __auc
时长 1 年
描述 Alexa Metrics 设置此 cookie 用于追踪并将信息报告给 Alexa 分析服务。
Cookie AWSESS
Duration
描述 Awin 设置此项以确保向用户展示不重复的同类广告。
Cookie nevercache-b39818
Duration session
描述当前无可用描述。

REJECT Save My Preferences ACCEPT

由提供支持

Image 4: Logo News Hub

Discord Linkedin Reddit X

Image 5: Logo News Hub

Image 6: Logo MARKTECHPOST

Search AI news...

Home Editors Pick Agentic AIVercel Labs Open-Sources agent-desktop for Agent Computer Use

来自 Datalab 的开源基准测试工具，你的 PDF 解析器真的解析正确了吗？omni_parse_bench 通过页面级通过/失败测试对任何解析器的文本、表格和布局进行评分。在 GitHub 上加星**→TEXTTABLE****LAYOUT**Text✓Tables✓Layout✓present order repeat table_cell layout_kind$uv pip install omni-parse-bench Sponsored

Vercel Labs Open-Sources agent-desktop for Agent Computer Use

Michal Sutter

October 31, 2026

在 Google 上添加为首选来源

Vercel Labs 发布了 agent-desktop，这是一个用于在 macOS、Windows 和 Linux 上进行 AI 智能体计算机操作（AI agent computer use）的开源 CLI。agent-desktop 通过操作系统的无障碍树（accessibility tree）读取每个应用，而不是通过截图。智能体会获得一个 JSON 快照，其中包含其可以操作的每个元素的 ref。版本 1.0.2 于 2026 年 10 月 30 日在 Apache-2.0 许可证下发布。对于开发者而言，任何具备 shell 能力的编码智能体现在都无需视觉模型即可驱动原生应用。

TL;DR

库：Rust CLI 和 C 库。60 个命令名，56 个可操作。
运行环境：macOS 13+、Windows 10 1809+ 或 Server 2019+、Ubuntu 24.04+，支持 x64 和 ARM64。纯 CPU，无 GPU。
性能：确定性、可重试安全的引用操作。尚无独立的计算机使用（computer-use）基准测试。
最佳：通过骨架遍历，在密集的 Electron 应用上减少 78% 到 96% 的 Token 消耗（官方自测）。

什么是 agent-desktop？

agent-desktop 是来自 Vercel Labs 的一个 Rust 命令行工具和 C 库，用于读取和操作桌面应用程序。它是一个供 Agent 调用的工具，而非 Agent 本身。它不内嵌大模型，也没有图形界面。每个命令输出一个 JSON 信封后便会退出。观察、行动和验证的循环仍然保留在你的 Agent 中。

**TEXTTABLELAYOUT你的 PDF 解析器真的搞定了吗？omni_parse_bench · 评分文本、表格和布局 · 开源在 GitHub 上加星标→**Sponsored

agent-desktop 如何工作？

每个命令都通过固定的链条流动。CLI 或 C 库调用 agent-desktop-core，它仅通过 PlatformAdapter 特征（trait）与操作系统交互。然后，一个平台对应的 Crate 会与原生无障碍 API 进行通信：

macOS：AX API
Windows：UI Automation
Linux：AT-SPI

核心（Core）从不导入平台 Crate。每个二进制文件都经过编译，专门用于驱动单一操作系统。

快照与引用

快照会分配限定引用，例如 @s8f3k2p9:e8。引用内部的快照 ID 使其具备自描述性。单纯的 @e8 会被带有 INVALID_ARGS 的请求拒绝。当 UI 发生变化时，操作会返回 STALE_REF 或 AMBIGUOUS_TARGET。随后，Agent 会获取一份全新的快照。

每个错误都包含一个 disposition。Agent 应当仅在提示 safe 时进行重试。引用解析是严格的并且采用故障安全（fails closed）机制，而不是进行猜测。

10万 20万 30万以上的用户将日常琐事交给 AI。+30% 钱包奖励 · 10 月 31 日截止领取 30% 奖励→**Sponsored

骨架与深入查看

密集的应用程序可能会暴露出数千个无障碍节点。--skeleton 快照仅读取 3 层深。被截断的容器会报告一个 children_count 并获得一个深入引用。然后，snapshot --root 会将一个区域读取到同一个快照中。

构建者报告称，在 Slack、VS Code 和 Notion 中，相比于完整树状转储，Token 削减了 78% 到 96%。在 Apple Maps 中，他报告称每次查看的 Token 从 3,811 个下降到 273 个。模拟的 52 步任务消耗的 Token 从 19.8 万下降到 3.1 万。这些是自我报告的数据，并非独立的基准测试。

默认无头（Headless）

引用操作通过无障碍 API 进行，无需移动指针或获取焦点。这就是让 Agent 能够在你继续使用计算机的同时进行工作的原因。全局 --headed 标志允许在需要时进行物理输入。每个引用操作还会自动等待最多 5,000 毫秒，以寻找一个可见、可用且稳定的目标。

它与基于像素的计算机使用（computer use）相比如何？

模型侧的计算机使用工具基于截图和像素坐标工作。Anthropic 的文档指出，每张截图消耗大约 1,000 到 1,800 个输入 Token。其工具集定义每次请求会增加约 4,500 个输入 Token。OpenAI 的工具类似地返回你的代码执行的点击、输入和滚动操作。

agent-desktop 与模型无关，返回的是结构而非图像。微软的 UFO² 也使用了 UI Automation，但它是作为一个完整的 Windows Agent 发布的。

特性	agent-desktop (Vercel Labs)	Claude computer use	OpenAI computer use	Microsoft UFO²
类型	CLI + C 库工具	API 客户端工具集	API 工具	完整的智能体框架
它如何查看 UI	OS 辅助功能树	截图	截图或代码（PyAutoGUI、Playwright）	UIA + 视觉混合
内置模型	无，任意智能体	Claude 模型	OpenAI 模型	可配置 LLM
平台	macOS、Windows、Linux	你托管的任何环境（参考：Linux Docker）	你托管的浏览器或桌面	Windows (UFO²)
移动你的光标	否，默认无头模式	是，像素点击	是，像素点击	GUI + API 操作
每次查看的 Token 成本	273（Apple Maps 骨架，自测数据）	~1,000 到 1,800 每张截图	未公开	未公开
许可证	Apache-2.0	专有 API	专有 API	MIT
价格	免费	标准 Token 定价	标准 Token 定价	免费（外加 LLM 成本）

如何安装和使用 agent-desktop？

使用 npm install -g agent-desktop 安装。Bun、Yarn 和 pnpm 也可以使用。该软件包捆绑了适用于 x64 和 ARM64 的原生二进制文件。

macOS：通过 agent-desktop permissions --guide 授予辅助功能权限。
Windows：终端完整性级别下的应用无需授权。
Linux：需要包含 at-spi2-core 的图形会话。

智能体通过 agent-desktop skills get desktop 从捆绑的文档中学习该工具。skills.sh 上也列出了一个技能。C 库允许 Python、Swift、Go、Ruby 和 Node 宿主在进程内调用它。对于 Electron 网页内容，launch --cdp 为 agent-browser 打开一个 DevTools 端口。