Cloudflare 发布开源决策模型 Clef 及强化学习微调平台

在过去几周里，围绕诸如 Typesafe AI 的 Jev System One 模型之类的决策模型出现了大量讨论。虽然分类模型已经存在了一段时间，但 Jev 向 AI 世界引入了一个新的决策模型概念——一种能够廉价、快速且一致地产生有界结构化输出的模型，当需要决策时，它可以被添加到工作流中。这些模型功能强大，可以在任何输入集上工作，而无需不断重新训练模型以纳入新的分类类别。这与大型语言模型（LLM）的世界形成了对比，后者在很大程度上是非确定性的，但足够开放，可以为代理工作负载进行推理并生成文本和工具调用。 

今天，我们发布了两个由 Cloudflare 训练的决策模型：Clef 和 Clef-flash，它们托管在 Workers AI 上。Clef 目前在 Jev 决策指数评估中处于领先地位，您可以在实时基准测试演示网站上查看完整结果。这些模型更智能、更快速，并且完全兼容 Jev-API，因此您可以轻松地对这些托管模型进行实验。我们正在以 Apache 2.0 许可证将这些模型在 Hugging Face 上完全开源，供您在本地运行并自行尝试。 

最后，我们很高兴推出我们的新强化学习（RL）产品，它允许客户微调 Clef 以适应他们自己的用例。

什么是决策模型？

决策模型通过进行分类来帮助代理根据特定概率决定如何行动。例如，您可以传入一条客户支持消息（输入），并询问它是否紧急以及应该由哪个团队处理。决策模型将返回带有概率的类型化答案（输出），您的代码可以使用这些答案来路由工单、触发升级或转交给人工处理。这意味着在代理决策中不再一定需要人工参与——代理可以以编程方式收集上下文、做出决策并对任务采取行动，或者在需要时转交给人工。

具体在 Cloudflare，我们一直在我们的威胁情报团队测试新的 Clef 模型，以帮助我们对网站域名进行分类。通过将域名交给 Clef（使用 Browser Run），它可以快速识别该域名所属的类别——例如，它可能会以 95% 的概率将某个域名分类为时尚网站，85% 为电子商务，<1% 为网络钓鱼等。这种分类花费了我们的 Clef 模型 2.2 秒来获取、渲染和分类该网站。相比之下，我们最快的通用 LLM gpt-oss-120b 在相同的工作流中花费了 4.7 秒，并且仅返回了两个分类。作为用户，您可以想象延迟和结果方面的 2 倍节省如何帮助我们改进威胁情报工作流，并更快地识别恶意或合法域名。将其推广到任何需要做出快速程序化决策的用例，您就能解锁能够自主决策、推理和执行的强大代理工作流。

在音乐理论中，谱号（clef）是放置在五线谱开头的一个符号，用于指定谱线和间隙的特定音高名称。决策模型类似于音乐谱号，因为它有助于定义上下文的领域以及随之而来的后续音符（动作）。我们将我们的决策模型系列命名为 Clef，因为它具有类似的作用，且“CF”也呼应了 Cloudflare。

Clef 与其他决策模型有何不同？

尽管市场上充斥着越来越多的决策模型，但 Clef 拥有一些独特的属性，这让我们很高兴能将其发布给公众。首先，它配备了视觉编码器，因此能够接收图像并对视觉内容进行分类。这与目前仅能进行文本分类的 Jev 不同。其次，我们的模型拥有 64k 的上下文窗口（相比之下 Jev 为 32k），这允许用户输入更多的状态供模型进行分类。

第三，我们的模型准确且强大，在各种质量基准测试中与市场上的其他决策模型相比具有竞争力。我们列出了一些对决策制定至关重要的评估指标，这些指标由 Jev 决策指数 定义，并对市场上一些更受欢迎的模型进行了评分。请查看下表了解基准测试结果，或在我们的 实时决策指数演示网站 上查看分数：

我们还在 Typesafe 自己的评估套件 上运行了基准测试，我们的 Clef 模型表现良好，在 4 个领域中有 3 个击败了 Jev。值得注意的是，考虑到 Clef-flash 的速度优势，它的表现非常出色。

在我们运行的 43 个评估基准测试中，我们的 Clef 模型在延迟方面击败了其他决策模型（Laya 除外，它速度非常快，但在上述基准测试中牺牲了质量）：

除了模型本身的延迟优势外，我们的 Clef 模型还托管在 Workers AI 上。由于它们托管在 Cloudflare 的基础设施上，我们能够利用边缘 GPU 的优势，从而实现低网络延迟和更快的决策。这意味着您可以将 Clef 置于智能体决策的热路径中，并将其与我们 Workers AI 上的 LLM 相结合以采取行动。 

curl https://api.cloudflare.com/client/v4/accounts/$CLOUDFLARE_ACCOUNT_ID/ai/run/@cf/cloudflare/clef \\
  -X POST \\
  -H "Authorization: Bearer $CLOUDFLARE_AUTH_TOKEN" \\
  -d '{
    "model": "clef",
    "state": "Checkout has been failing for every customer for the last hour.",
    "questions": {
      "urgent": { "type": "noul", "instructions": "Is this support request urgent?" },
      "team": {
        "type": "choice",
        "instructions": "Which team should handle this request?",
        "criteria": {
          "billing": "Payments, invoices, and refunds",
          "technical": "Outages, errors, and configuration",
          "sales": "Plans and upgrades"
        }
      },
      "severity": {
        "type": "score",
        "instructions": "How severe is the customer impact?",
        "criteria": ["No impact", "Minor", "Major", "Critical"]
      }
    }
  }'

Clef 也提供与 Jev 类似的严格类型输出，并且完全兼容 API，因此您可以极其轻松地进行切换。较大的 Clef 模型是您更强大的高精度模型，而 Clef-Flash 模型则非常适合对延迟敏感的决策场景。这些模型已达到企业级标准，我们保证不会读取、存储您的请求或响应，也不会使用它们进行训练（除非您希望使用我们在下文介绍的微调产品）。您可以立即开始使用 Clef 模型，从我们的 开发者文档开始，或者在 Hugging Face 仓库中的开源模型上进行尝试。

如果您需要针对特定工作负载微调 Clef 的帮助，我们也提供微调服务——首先由我们的前线部署工程师 (FDE) 团队作为实践合作伙伴提供支持，随后将作为自助式微调平台，供客户训练模型并将其重新部署到 Cloudflare 上。

我们如何训练 Clef

在 Jev 发布的那一周，我们 发布了一些关于实验的文章，这些实验使用了我们自己开发的决策模型。我们的演示介绍了我们如何通过公开大型语言模型生成的对数概率（logprobs），使 DiffusionGemma 模型能够输出确定性概率。我们最初的方法建立在 Matt Mastracci 的独立研究基础之上，他一直活跃在机器学习 (ML) 社区，分享新想法并向 vLLM 推理引擎提交拉取请求，以增强对 DiffusionGemma 的支持。

Clef 在此概念的基础上进行了构建，但使用了不同的基础模型作为骨干。我们目前使用 Qwen 作为基础模型，并对其进行了后训练以适应决策模型的使用场景。在推理过程中，Clef 使用 Qwen 进行仅预填充（prefill-only）的传递，然后并行对有效的模式选择进行评分。决策步骤是非自回归的，因此无需逐个 token 生成中间文本，这使得 Clef 比自回归 LLM 快得多。Clef 和 Clef-flash 不会通过生成中间文本来产生结构化答案，而是直接从内部骨干表示中推导出模式选择。这种方法依赖于专门的两阶段注意力路由过程：每个有效选项都会提取与提示相关的上下文，从而允许各个字段参数在评分前与其它字段进行交叉注意力计算，并回溯到原始载荷。通过利用词汇先验，模型在各个选项中保留了语义意图。最终，该架构将特定于选项的证据路由、联合跨字段注意力和模式绑定评分结合在了一起。

通过冻结用于 Clef 的 Qwen3.8-27B 和用于 Clef-flash 的 Qwen3.5-9B，我们联合优化了路由头和 rank-256 的低秩适配器。我们的后训练利用标签平滑交叉熵来处理有效的模式输出，并结合 Brier 损失来优化概率校准。此次训练利用了我们内部的合成数据集，对字段顺序、提示和模式结构进行了排列组合。我们还开发了用于校准决策的强化学习 (RLCD) 作为次要优化目标，为相邻的序数选择提供部分分数，奖励完全精确的记录输出，并应用参考惩罚以防止分布偏移，从而为我们提供了更好的准确性和泛化能力。

这意味着我们能够通过 Clef 实现一些创新：我们提高了模型的分类准确率，将其限制为仅输出概率而非生成文本，并使其运行速度比 Jev 和基础 Qwen 模型更快。

微调如何扩展 Clef 的能力

我们听到了许多内部用例，这些用例要求对我们的 Clef 模型进行微调，以便集成到 Cloudflare 的代理工作流中。例如，内部团队希望分类器模型能够评估“信任与安全”（Trust & Safety）提交的内容，帮助我们分流 Cloudflare 支持请求，甚至将其内置到我们的 Bot 产品中，以判断爬虫是“好机器人”还是“坏机器人”。

这些用例非常具体，我们拥有多年积累的标注决策数据，可以用来训练特定的分类器。当你微调模型时，可能会以牺牲部分通用性能为代价，换取特定领域更高的准确率。由于 Cloudflare 在不同领域拥有超过 15 年的网络数据，我们可以微调模型以适应这些特定用例，使其比通用的 Clef 模型更准确、更快速。我们已经与内部团队合作，探索如何对 Clef 进行训练后处理，以创建强大的机器学习模型，从而提升我们的影响力并改善 Cloudflare 的工作流。这些内部团队和用例是我们新的 FDE 微调团队的下一个职责范围，也是我们强化学习（RL）产品的基础。

我们新的 RL 服务

我们正在提供一项服务，由我们的 FDE 专家团队协助客户微调 Clef 以适应其工作负载。在此基础上，我们将从实践经验中学习，构建一个自助服务平台，让客户能够在 Cloudflare 上完成数据采集、模型微调和重新部署。

这其实酝酿已久——我们一直在构建 AI 平台，以具备构建定制化 RL 产品所需的正确原语。Jev 获得的关注表明了市场对快速、小型、专用分类器模型的需求，我们选择将其作为切入点，开始在 RL 环境中进行实验。

为了实现这一点，我们利用了已经在 Cloudflare 平台上构建的原语：

• Cloudflare AI Gateway —— 将所有 AI 流量通过 AI Gateway 传输，并自动为您的用例创建请求数据集
• Cloudflare Workers AI —— 针对基础 Clef 模型生成部署
• Cloudflare Containers —— 用于评估和重放代理操作的 RL 沙盒
• [NEW] Trainer —— 更新微调后 Clef 模型的权重
• Cloudflare Workers AI + BYO Model —— 在 Workers AI 上重新部署微调后的模型

这结合了我们一直在开发的 AI 平台中几个正在进行的项目，包括用于捕获 AI 流量以便利用自有请求/响应数据的 AI Gateway、用于 RL 沙盒的 Containers，以及自收购 Replicate 以来一直在推进的 Workers AI“自带模型”（BYO Model/Cog）工作。 

立即试用

我们很高兴今天发布由 Workers AI 团队训练的首个 Cloudflare 机器学习模型。我们目前还处于早期阶段，未来还有更多改进计划，但这充分展示了 AI 平台团队辛勤工作的成果。我们相信 Clef 有能力颠覆我们使用代理的方式，这与 Cloudflare 作为“代理云”（agent cloud）的使命不谋而合。

如果您有具体的用例，并且已经是这些产品的客户，我们非常希望能与您交流，并邀请您成为我们在该领域进行实验的设计合作伙伴。

欢迎尝试托管在 Workers AI 上的 Clef 模型，如果您想亲自探索，可以下载 Hugging Face 上的权重；如果您有需要我们协助的微调用例，请随时联系我们。

我们的机器学习团队影响力日益增强，涵盖了从模型优化到模型训练研究的各个方面。如果您有兴趣加入我们的使命，请查看我们的招聘职位。