Cloudflare 发布智能体流量管理与 Monetization Gateway 工具

在互联网历史的大部分时间里，它只有一个买单的受众：人类。我们阅读文章、观看广告并购买订阅。机器人一直存在，但它们大多是大型的自动化操作，不会观看广告、支付任何费用，也没有任何实际意义上的阅读行为。

这种情况正在迅速改变。2024 年底，Cloudflare 平均每秒处理 6300 万次 HTTP 请求。如今，这一数字几乎翻了一番，达到 1.15 亿次，峰值超过 1.5 亿次。在过去一年中，我们网络上来自 AI 代理的每日请求增长了超过 1,700%。今年，互联网流量中首次有超过一半不再是人类。

人类网络并没有因为空间被挤占而萎缩。在它旁边，第二类受众出现了：代理，即代表人类行事的软件。它们处于人类和传统机器人之间。它们不会对广告做出反应，但它们背后通常有一个需要完成任务的人。对于那些学会服务它们并从中获取价值的企业来说，代理是增量；对于那些没有学会的企业来说，它们则是消耗者。

我们客户的需求没有改变：被发现、讲述精彩的故事、构建出色的体验以及进行销售。改变的是，现在你超过一半的访客是软件。我们的工作是帮助你服务这两类受众。

流量增加，收入减少

三十年来，网络运行基于一种安排：你允许搜索引擎抓取你的网站，它们为你发送访客，然后你将这些访客转化为业务。被发现和获得报酬是一回事。

AI 导致这种微妙的平衡被打破。现在，答案引擎读取页面并为读者提供摘要。这消耗了网站的带宽，却没有将人类引导至发生广告或支付行为的网站。机器不断涌入，而为网络买单的受众却不再访问这些网站。一些被抓取最频繁的类别，如零售、计算机软件、IT 与服务以及金融服务，在不到一年的时间里，人类流量下降了多达 40%。

结果是，每个请求的收入正在下降，而成本却在上升。每一次自动化请求仍然消耗带宽、计算资源和源站容量，而这些请求中越来越多的比例没有带来引荐、广告展示或订阅。我们的第一反应是屏蔽所有自动化流量。去年，我们建议在新域名上屏蔽 AI 训练爬虫，这样网站所有者至少可以拒绝让他们的内容被用于构建模型。2025 年春季，我们看到的爬虫请求中有 22% 是用于 AI 训练（根据爬虫声明的目的）。到 2026 年 6 月，这一比例达到了 52%。问题在于，一刀切的“拒绝”对于当前正在构建的互联网经济来说，并不是一种足够精细的方法。

迎合代理的机会就在眼前。如果做对了，你将处于新商业模式的最前沿。然而，如果做错了，结果将与那些在搜索引擎算法变更中处于不利地位的几代网站一样。

部分流量是客户

一个预订餐位、比较保险报价或为研究人员购买数据集的代理就是客户。它只是不是人类客户而已。

自动化流量中增长最快的部分不再是爬虫，而是智能体（agents）：即代表用户获取页面的软件，通常是因为人类向聊天机器人提出了问题。这种智能体流量遵循人类的日常规律，具有每周的节奏，并在暑假期间有所下降。拒绝一个智能体，可能意味着你拒绝了派遣它的用户。

智能体的行为也与训练爬虫不同。训练爬虫收集你的页面是为了构建模型。而智能体则是在有人询问相关内容时才会返回，因此这种流量的增长取决于人们提问的频率，而不是你发布内容的多少。

如果你无法看到、无法区分、无法设定条款且无法收费，你就无法与受众开展业务。直到最近，对于大多数非人类网络流量而言，这四点都无法实现。

查看谁在真正访问

"AI 机器人" 这个词已不再具有实际意义。重要的是机器人做了什么。Cloudflare 的 AI Crawl Control、Business Insights 和 BotBase 向网站所有者展示了谁在抓取、他们获取了什么、返回了什么，以及他们最想要你的哪些 URL。

只有在可信的情况下，机器人的名称才有价值。通过 Web Bot Auth，包括 OpenAI、Google 和 AWS 在内的运营商可以对其智能体的请求进行加密签名，这样网站无需通过 IP 地址或用户代理字符串进行猜测，就能区分真实智能体和冒充者。我们每周处理超过 5000 亿次经过验证的机器人请求。

设定你的条款

7 月，我们将单一的 "屏蔽 AI 机器人" 开关替换为独立的 搜索、智能体和训练控制，适用于包括免费版在内的所有套餐。数据表明了这种区分的必要性。在 Cloudflare 上，只有不到 1% 的网站屏蔽搜索爬虫，而有 17% 的网站屏蔽训练爬虫。网站所有者从未试图隐藏自己。但随着智能体流量的兴起以及智能体使用信息的新方式，他们突然发现自己对内容的使用方式失去了透明度和选择权。被发现不再意味着能获得报酬，他们希望在不被剥削的情况下被发现。

在混合用途爬虫的情况下，这一点尤其困难。当一个机器人同时进行搜索和训练时，拒绝其中一项就意味着拒绝另一项。9 月 15 日，我们推出了 禁止 AI 训练。它能让你在保持搜索索引的同时，使用爬虫特定的机制指示运营商不要将你的数据用于训练。Apple、Google 和 Microsoft 已承诺遵守此规定。Cloudflare Radar 也公开追踪爬虫行为。

新域名现在会根据网站的盈利方式而非访问的软件类型，看到推荐的配置。对于广告支持的网站，你可以轻松禁止在投放广告的页面上进行训练并屏蔽智能体，因为广告只有在人眼看到时才会产生收益。你可以随时更改这些设置。

获得报酬

2026 年 8 月，我们将 正在构建的智能体互联网 描述为可读、可发现、可调用和可支付的。最后一个词“可支付”决定了开放网络能否实现自我供养。网络需要一种方式来表达“如果付费则可以”，而不是简单的“是”或“否”。

许可市场既显示了需求有多大，也显示了差距在哪里。自 2023 年以来，已签署了超过 50 笔出版商与 AI 公司的交易。几乎所有这些交易都是定制化的双边协议，发生在大型出版商和大型 AI 公司之间。它们证明了内容是有价值的。但它们无法覆盖大部分网络，也无法触及大多数买家。

并非所有资产都应以相同的方式出售。高价值内容和数据集需要一个可信的网络，在该网络中，买家身份是已知的，并且会报告作品的使用方式。API 和 MCP 工具等服务并非如此运作：每一次请求即是一次使用。

因此，我们正在为这两种模式进行构建。

按使用付费 触及了直接许可无法覆盖的网站。大多数出版商永远无法与每家 AI 公司达成定制协议，也没有哪家 AI 公司能与数百万个网站进行谈判。按使用付费是其中的桥梁。它不对抓取收费，而是在内容被实际使用时付费。每个买家都是经过验证的爬虫，这使其成为一个可信的网络，且每个买家都会定义什么是使用以及支付多少费用。

出版商可以看到报价，选择是否加入，并在不再适用时随时退出。买家报告每次使用情况，Cloudflare 核实这些报告，然后向买家收费并支付给出版商。报告与付款同样重要。出版商可以看到什么被使用了、何时被使用以及他们赚了多少钱，并且在买家报告的情况下，还能看到哪些问题触发了他们的作品。许可协议很少能展示这些信息。这创造了一个反馈循环：出版商了解人们真正需要什么，并据此决定报道什么、更新什么，以及让哪些内容可供智能体随时使用。

对于“使用”不会只有一种定义。搜索引擎引用来源、研究智能体引用段落、购物智能体完成购买，这些都会创造不同类型的价值，每种价值都需要自己的商业模式。买家可以通过多种商业模式参与，使用相同的轨道，而出版商无需进行新的集成。以一本拥有几千名订阅者、几乎没有 AI 许可交易前景的海洋工程师行业期刊为例，它可以通过每一家调用其作品的参与 AI 公司获得报酬。

货币化网关 捕获了那些从未有过交易方式的价值。账户、API 密钥和订阅适用于你已经了解的客户，而不适用于一个从未用过某项服务却想要进行一次查询的智能体。我们的封闭测试版允许符合条件的美国 Cloudflare 客户使用他们已经熟悉的规则语言，为通过我们的任何内容定价。当规则匹配时，我们会使用开放的 x402 协议返回 HTTP 402 Payment Required，智能体直接向卖家付款。

这不仅仅是挽回损失的收入。智能体本身就是客户：它们为所使用的数据、API 和工具付费，无论该请求是整个购买过程还是更大任务中的一个步骤。

Monetization Gateway 按请求、按查询或按 token 收费，提供固定价格或上限价格。 一个基于广告的体育统计网站可以在代理询问“谁是联盟助攻王？”时收取几分之一美分的费用。当我们宣布 Monetization Gateway 时，数千名卖家加入了候补名单，他们最常见的请求是“向代理收费，而不是向人类收费”。我们也是自己的第一个客户。Cloudflare 的 AI Gateway 使用 Monetization Gateway 让代理为推理付费，因此我们在客户之前就发现了其中的粗糙之处。

对于买家而言，这两款产品都优于拦截页面：它们提供可靠的访问权限，以及一种触达数百万个网站的方式，而无需一次次地签署许可协议或获取 API 密钥。每笔付费请求都会留下一张收据，显示购买的内容以及已完成支付。

Pay Per Use 和 Monetization Gateway 都是一种押注，它们建立在与客户共享的基元之上：身份、计量、定价、结算和分析。它们协同工作，因此发布者可以在一个仪表板中禁止训练、允许搜索、从 AI 回答中获利，并按文章向代理收费。定价和发现机制尚未完全解决，这就是为什么两者都以测试版形式发布，并由真实客户和真实交易来塑造。

让每一次请求都更便宜

支付是解决收入下降的答案。成本上升是另一个问题，其中很大一部分纯粹是浪费。大多数爬虫仍然一遍又一遍地下载为人类构建的页面，只为提取几段文本。机器人经常抓取自上次尝试以来从未更改过的网站。这会消耗网站的带宽和爬虫的计算资源，而且这种情况发生在编写任何答案之前。 我们正在与客户和爬虫开发者合作开发有助于解决此问题的工具。今天，您可以在我们的仪表板中查看每个运营商使用的带宽消耗。

7 月，我们宣布了一项与 OpenAI 的联合研究项目，这是一项首创的试点计划，旨在探索 Cloudflare 全球网络的洞察力如何帮助 AI 搜索引擎更高效、更有效地发现和索引开放网络上的相关内容。我们计划在未来几周内分享初步结果。

对于我们的客户，我们正在提供工具和一键式体验，以使他们的网站针对这种新型流量进行优化。 Markdown for Agents 让代理无需阅读专为人类视觉设计的额外样式即可读取页面，而 WebMCP 让网站可以直接公开操作，而无需让代理猜测该点击哪个按钮。

为什么选择在 Cloudflare 上构建

超过 20% 的网络位于 Cloudflare 网络之后，近 80% 的领先 AI 公司也是如此。我们看到了这个市场的两面。我们构建了用于可见性、身份、控制和结算的轨道，并让市场决定事物的价值。

旧的协议已经不复存在，新的协议仍在编写中。我们可以共同塑造未来。

在一种版本中，少数几家公司控制着代理如何查找内容、证明身份和支付，而其他人则通过它们进行路由。在另一种版本中，这些部分是任何人都可以实现的开放标准，任何规模的网站都可以设定自己的条款并获得报酬。我们更倾向于后者。

这就是为什么这些轨道运行在 x402 和 Web Bot Auth 等开放标准上，以便任何人都能在其上进行构建。域名所有者可以选择自己的身份提供商、支付处理器和代理合作伙伴。Cloudflare 只是一个选项，而不是整个技术栈。

几十年来，网络一直由访问它的人来买单。现在，代表他们进行访问的软件也可以分担其应付的份额了。