Cloudflare AI Gateway 更新 User Insights 功能以识别模型过度使用

当我们上个月推出 User Insights时，我们希望帮助团队回答一个基本问题：人们到底在如何使用 AI？User Insights 让团队能更清晰地了解其 AI 使用情况，展示哪些用户、应用程序、任务和模型在驱动流量。它还能突出显示用户和代理的异常情况，帮助团队在意外或失控的支出和使用量演变成更大的问题之前将其识别出来。

我们最新的更新增加了用户一直要求的功能：上下文。 

自发布以来，我们从用户那里了解到，模型名称和请求计数只能说明部分情况。它们显示了流量的去向，但对于其背后的工作却知之甚少：该请求是代码审查、研究任务，还是代理为完成工作而进行的多次调用？相同的 Token 计数可能代表截然不同的工作类型，如果不了解任务，就无法评估模型选择是否合适。

User Insights 现在可以显示模型何时可能超出了任务所需的能力，哪些用户和代理在驱动这些使用量，以及任务、模型、成本和对话模式之间有何关联。团队可以利用这些洞察进行调查，并在组织内部做出有针对性的调整。AI Gateway 用户可免费使用这些功能。

为什么 AI 使用情况难以理解

设想一个团队已将其内部 AI 流量通过 AI Gateway 进行路由。几周后，支出增加，且部分请求感觉比预期慢，这是组织大规模采用 AI 时面临的常见挑战。

这可能有多种解释。开发人员可能正在将 AI 用于日益复杂的编码工作。代理可能为了完成任务而进行了过多的后续调用。或者，一小部分用户或代理可能占用了组织不成比例的使用份额。

仅凭 Token 和请求计数无法显示是哪种模式导致了增长。团队需要先了解流量代表什么，才能决定是否应该更改模型、工作流或路由规则。

帮助团队发现 AI 模型在何处“大材小用” 

“模型大材小用”（model overkill）视图可帮助团队识别出所选模型似乎超出了任务所需能力的对话。例如，团队可能会发现用户或代理正在将简单的格式化或摘要请求发送给高能力的推理模型。

这为组织提供了一个切入点。他们可以看到哪些用户、代理或应用程序与该模式相关联，然后调查其背后的任务。团队可能会发现，使用某个模型是因为它是默认设置，因为用户不确定该选择哪个模型，或者因为代理被配置为在每一步都使用同一个模型。

“大材小用”视图并非排行榜，也不会自动推荐替代模型。它旨在帮助团队提出更好的问题：

• 这个模型适合该任务吗？
• 额外的能力是否改善了结果？
• 更快或更便宜的模型能否产生等效的结果？
• 这个问题是否仅限于某个工作流、用户或代理？

在此基础上，团队可以在决定做出何种更改之前，比较成本、延迟、Token 使用量和对话轮次。

这些洞察支持全新的“潜在节省”（Potential Savings）视图和“自动路由”（Auto Router），后者随本次发布同步开启公开测试。“潜在节省”视图可帮助团队识别那些可以在不影响输出质量的前提下，由速度更快或成本更低的模型处理的请求。“自动路由”会自动应用这些任务和模型匹配信号，从而在无需为每个工作负载单独设置路由规则的情况下降低成本。

“过度配置”（Overkill）视图是评估模型匹配度的起点。团队可以针对同一类型的任务比较延迟、输入和输出 Token、对话轮数以及总成本。高难度的编码或研究任务可能需要功能强大的推理模型，而简短的摘要或简单的分类任务则未必如此。其目标并非将所有请求都转移到最便宜的模型上，而是了解所选模型是否适合当前工作。

了解人们使用 AI 的用途

任务分析按工作类型对对话进行分组。初始类别包括编码、研究、写作、摘要和数据分析。

这提供了模型名称列表所无法呈现的背景信息。一个工程团队可能主要将 AI 用于编码和调试，而另一个团队可能将其用于研究和摘要。团队还可能发现，尽管某些简单任务被发送到了高性能模型，但它们却占据了相当大比例的流量。

答案因团队而异。类别数据提供了一种利用 AI Gateway 中现有流量来调查这些差异的方法。团队可以确定模型是否被用于其最擅长处理的工作，或者默认模型是否被应用得过于广泛。

了解任务的全部成本

有些任务一次交互即可完成。另一些任务则需要经过几轮提问、修正和后续跟进。轮次分析显示了不同任务所需的往复次数。长对话并不一定是坏事，尤其是对于复杂工作而言。但如果一个简单任务总是需要多轮对话，那么就有必要检查一下提示词、模型或工作流程了。

首次请求只是成本的一部分。团队还应关注任务完成前所花费的时间、Token 和金钱。比较这些数字可以找出工作流程中耗时或成本超出预期的环节。

将洞察转化为自动路由

一旦团队识别出“过度配置”模式，并结合任务、成本、延迟和轮次数据进行确认，就可以将这些洞察转化为自动路由决策。

例如，任务视图可能显示团队的大部分 AI 使用场景是摘要和格式化。模型视图可能显示这些请求被发送到了大型推理模型，而轮次视图则显示大多数对话在单轮内即可完成。这些信号共同为团队提供了一个具体的工作负载评估依据。

除了对用户洞察（User Insights）的更新外，自动路由（Auto Router）现已开启封闭测试。自动路由利用对话轨迹、任务类别、任务复杂度和模型匹配信号，在考虑成本的同时自动将请求路由至合适的模型。

与其为每个工作负载创建单独的路由规则，参与 Beta 测试的客户可以让 Auto Router 在其应用程序可用的模型中进行选择。该路由器不会简单地将每个请求发送到最便宜的模型，而是会根据手头的任务选择合适的模型。复杂的编码或研究工作可能仍需要能力更强的模型，而简单的任务则可以由速度更快或成本更低的模型处理。

要了解有关 Auto Router 的更多信息并注册参加封闭 Beta 测试，请阅读此处的博客文章。

Auto Router 使用与 User Insights 相同的任务和对话信号。以下部分解释了这些信号是如何生成的。

User Insights 如何对流量进行分类

每个对话都会收到一个可在 User Insights 中进行分组的分析信号。该信号用于报告和路由分析，并非旨在替代或公开原始请求。

分类引擎是一个专门的 Cloudflare Worker，用于处理符合条件的 AI Gateway 日志。它会检查对话轨迹，包括用户请求、助手响应、工具调用和工具结果，并识别正在执行的工作类型，例如编码、调试、研究或摘要。它还会返回一个置信度分数，并评估任务复杂度、意图模糊性、风险和上下文依赖性等维度。

Worker 返回的类别可以与仪表板使用的日志元数据相结合。这些信号还可用于通过比较候选模型对任务的适用性及其成本来评估模型契合度。当前的实现侧重于一小部分易于理解的类别，而不是试图推断用户工作的每一个细节。

该流水线遵循现有的 AI Gateway 日志架构。元数据与日志正文分开存储，当前的实现使用 Durable Objects 存储元数据，使用 R2 存储日志正文。User Insights 会公开派生类别和聚合视图。它不会将仪表板变成原始提示浏览器。底层日志正文的保留仍遵循已配置的 AI Gateway 日志记录行为，因此团队在决定通过分类器发送哪些内容时应审查这些设置。

分类是异步进行的，这意味着它发生在 AI Gateway 处理完请求之后，而不是在用户等待响应时。AI Gateway 首先将日志写入现有的存储路径，分类 Worker 随后对其进行处理。这使得分类过程处于请求路径之外，不会增加用户响应的延迟。

权衡之处在于 User Insights 并非实时视图。新收到的对话可能不会立即出现在仪表板中，并且由于日志需要处理和聚合，分析结果可能会比传入流量滞后大约一天。团队应使用 User Insights 来识别随时间变化的模式，而不是监控实时请求活动。

流程如下：

将使用情况与用户、团队和工具关联起来

当任务类别可以按用户、团队或应用程序查看时，它们会变得更有用。AI Gateway 具有身份感知能力，无需团队构建单独的报告流水线即可提供该上下文。

这不仅适用于团队自行构建的应用程序，也适用于 Claude Code、Codex 和 OpenCode 等开发者工具及智能体工具。通过将 AI Gateway 置于 Cloudflare Access 之后，团队可以将经过身份验证的用户和会话连接到其 AI 流量，从而使 User Insights 能够将活动与特定人员和对话关联起来。

对于自定义应用程序，请求必须包含用于 User Insights 分析的稳定 user_id 和 session_id。具体的身份配置和字段名称取决于应用程序或工具的设置方式。关键在于提供稳定且非敏感的用户和会话标识符，以便在不将身份数据放入提示词本身的情况下对使用情况进行分组。

对于自定义应用程序，请求元数据可能如下所示：

POST https://gateway.ai.cloudflare.com/v1/$ACCOUNT_ID/$GATEWAY_ID/openai/chat/completions

Content-Type: application/json

Authorization: Bearer $OPENAI_API_KEY

cf-aig-metadata: { user_id: \"user-123\", session_id: \"session-456\", idp_group: \"engineering\", application: \"code-review\" }

请求正文包含对话的模型和消息。

通过在 AI Gateway 前面配置 Access，Claude Code、Codex 和 OpenCode 等工具可以自动继承此身份上下文。Cloudflare Access 为拥有最多 50 名用户的团队免费提供，是入门的便捷方式。

开始使用 AI Gateway User Insights

AI 的使用正在迅速变化。模型在更迭，团队在开发新的工作流程，对一个团队来说正确的选择对另一个团队来说可能是错误的。

User Insights 让团队能够通过识别哪些模型可能属于过度使用来做出更明智的选择。他们随后可以查看是哪些用户和智能体在推动这些使用，了解其背后的任务，并比较完成这些工作的成本。

通过 AI Gateway User Insights 文档了解更多信息。在 Cloudflare 仪表板中打开 AI Gateway，并利用所学知识做出更具针对性的模型和路由决策。