Cloudflare 与 OpenAI 公布 AI 网页发现研究试点早期成果

如果 AI 找不到你的网站，为其进行 AI 优化就几乎毫无用处。人们要找的答案可能已经存在于你的网站上：比如你花了一周时间编写的安装指南，或者使用某款产品的一手心得，这些细节往往决定了他们是否会购买。随着越来越多的人转向 AI 寻求帮助，你肯定希望这些系统能够找到你的作品、准确地呈现它，并将感兴趣的人引导到你的网站。同时，你也希望掌控它们访问你网站的方式。

Cloudflare 与 OpenAI 在 2026 年 7 月推出了一个研究试点项目 ，正是出于对这些利益的考量。我们希望弄清楚来自 Cloudflare 网络信号是否能帮助 ChatGPT 用户更高效地发现新内容。

今天，我们分享初步成果。到目前为止，答案是响亮的“是”：该试点项目已将此前未被发现的网页纳入 OpenAI 的搜索索引中，为 ChatGPT 提供了更多的信息源，从而帮助人们找到相关、及时的信息。在此过程中，我们对“什么让一个网页值得被发现”以及“AI 系统如何使用网络”有了更深入的了解。

发掘更广阔的网络

网络充满了具体细节。修理洗衣机的人需要他们确切型号的手册。申请护照的人需要当前的具体要求和费用。挑选本地餐厅的人需要最新的菜单和营业时间。找到正确的网页，往往决定了是得到错误答案还是真正有帮助的答案。即使很少有其他网站链接到这些网页，它们也可能很有价值。

在上一代网络中，可发现性意味着登上搜索结果页面的顶部。随后，访问你网页的人类需要自行判断信息的价值、预订那张桌子、申请那本护照。随着人们越来越依赖 AI 来寻找信息和完成任务，可发现性的意义也在发生新的变化。AI 系统需要找到正确的资源、理解什么是有用的，并将人们与相关信息联系起来——无论是通过回答、引用，还是直接访问网站本身。

Cloudflare 的网络提供的信号可以帮助 OpenAI 的搜索爬虫在全网发现更多有用的网页，并呈现给 ChatGPT 用户。然后，OpenAI 会根据这些网页的相关性和实用性，独立评估并对它们的展示进行排名。通过这种方式，双方共同打造了一个良性反馈循环，既能提升发现效率，又能提高人们所获信息的质量。

这个联合试点项目使用了 Cloudflare 全部网络中约 1% 的参与群组，它使 OpenAI 能够发现并索引数以亿计的新网页，帮助人们通过 ChatGPT 发现更多有用的内容并解答更多问题。通过链接回相关来源，ChatGPT Search 还为人们提供了一种探索原始内容、发现其背后的网站和发布商的途径。

借助 GPT-6 and Intelligent UI，OpenAI 还让 ChatGPT 成为一个更好的购物、学习和寻找答案的场所，并针对人们的需求提供更具视觉感、交互性的体验。这项工作与这些进展相辅相成，帮助 ChatGPT 从全网发现更多有用、最新的信息。

从发现到有用的答案

找到一个网址只是开始。我们需要知道它是否通向人们可以访问的页面，该页面是否提供任何独特的内容，以及它能帮助人们做什么。

例如，我们了解到自动化流量能多么轻易地让一个不存在的页面看起来很有吸引力。机器人会反复请求并不存在的某些文件。有些网站几乎将任何地址都重定向到它们的主页。其他地址则导向相同内容的副本。识别这些模式使我们能够在爬虫抓取页面之前就减少无用功，并以有益于网站所有者的方式提高效率。

我们还在测试能够识别并标记潜在有害页面的信号，从而增添一层信息来支持更安全、更可靠的发现。一个合法的网站可能会有一个受损的页面，例如攻击者植入的伪造登录表单。标记这一个页面，而不是整个域，既能保障人们的安全，又不会惩罚网站所有者。早期结果表明，这些信号有助于识别应排除在索引之外的页面。

让信息发现更轻松

随着越来越多的人使用人工智能来发现信息，网站所有者有了接触目标受众的新机会。对于那些选择向人工智能系统开放其内容的人来说，这些改进使得信息发现变得更加轻松和高效。

对每个人而言，通过更频繁地抓取每个页面来跟上进度代价高昂。对网站所有者来说，一个反复下载未变动页面的爬虫会增加负载，却不会带来任何好处。

上述信号正是我们避免这种情况的方式。过滤机制使爬虫远离不存在或重定向到别处的页面。变更信号则告诉它们页面何时值得再次访问，何时不值得。

这需要把握好平衡。在对新页面进行评估和索引时，寻找新页面最初可能会增加抓取量。我们的目标是持续发现并保持最新状态，同时减少所需的工作量。对 Cloudflare 客户而言，这意味着减少不必要的负载。对 OpenAI 而言，这意味着其更多搜索资源将花在对人们有帮助的信息上。

让参与变得物有所值

下一阶段将在我们现有经验的基础上构建：改进页面选择，测试更快、更可靠的变更信号，并衡量内容被发现之后发生的情况。

我们正继续与 OpenAI 合作，以了解更好的网站发现如何转化为实际的业务成果，并且我们将不断分享我们一路上的心得。

在整个过程中，域名所有者的选择至关重要。关于某个页面的信号并不授予访问该页面的权限。这项研究使用关于网络的元数据进行搜索和发现，而不是为了模型训练而共享页面内容。

您可以使用 Cloudflare’s AI Crawl Control 来了解和管理人工智能系统访问您网站的方式。