Cloudflare 发布多模态决策模型 Clef-omni 并优化 Clef 系列

继上周发布 Clef 和 Clef-flash（Cloudflare 的开放权重决策模型）之后，我们决定带来更多惊喜。今天，我们发布了 Clef-omni，它除了支持文本和图像输入外，还能处理音频和视频输入。此外，我们还下调了 Clef-flash 的价格，使其现在比 Jev 更便宜，并提升了 Clef 的运行速度。

尽管对于 Cloudflare 而言，模型领域仍处于早期阶段，但创新和迭代已融入我们的基因，我们将这些原则应用于所做的每一件事。事实上，Clef 的故事在不到一周的时间里就成型了。我们在周五晚上决定在决策模型领域做点什么，周末完成了模型训练，并在周四正式发布。即使在如此短的时间内，我们也能够为社区交付高性能、高质量的开放权重模型——想象一下，未来我们还能做到更多。

今天，我们很高兴能通过 Clef 模型家族的新增功能和改进来保持这一势头。这仅仅是个开始，我们将继续变得更好、更快、更便宜、更具创新性。

Clef-omni 支持音频、视频、图像和文本输入

我们全新的 Clef-omni 模型能够接收音频、视频、图像和文本输入。这改变了决策模型的范式，自 TypeSafe 的 Jev 问世以来，决策模型在很大程度上一直仅限于文本。在 Clef 中，我们支持了图像和视频帧序列，但 Clef-omni 能够同时处理音频（wav 或 mp3）和视频（mp4 或 webm）以及文本和图像。

无需再建立级联模型流水线来将语音转录为文本，或从视频中分离音频和图像通道，你只需调用一个模型即可跨任何模态进行决策。我们现在离一个能够像我们体验世界那样与世界交互的模型又近了一步——通过音频、视觉和文本交流，融为一体。

查看我们的开发者文档以了解全新的 Clef-omni 模型。我们还在 HuggingFace 上开源了该模型的权重。如需快速上手，以下是如何向 Clef-omni 发送新模态输入的方法：

curl https://api.cloudflare.com/client/v4/accounts/$CLOUDFLARE_ACCOUNT_ID/ai/run/@cf/cloudflare/clef-omni \
  -X POST \
  -H "Authorization: Bearer $CLOUDFLARE_AUTH_TOKEN" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "clef-omni",
    "state": "Review the installation: a photo of the unit, an audio recording of it running, and a video of the fan.",
    "images": ["data:image/png;base64,<base64-png>"],
    "audio": ["data:audio/mpeg;base64,<base64-mp3>"],
    "videos": ["data:video/mp4;base64,<base64-mp4>"],
    "questions": {
      "label_visible": {"type": "noul", "instructions": "Is the model and serial number label visible in the photo?"},
      "sounds_normal": {"type": "noul", "instructions": "Does the unit sound like it is running smoothly, without rattling or grinding?"},
      "fan_running": {"type": "noul", "instructions": "Is the fan running in the video?"}
    }
  }'

Clef-omni 扩展了我们的开放权重决策架构，以原生方式处理多模态工作流。我们基于 Qwen3-Omni-30B-A3B-Instruct 混合专家（MoE）基础构建了此模型，该模型本身就能够在单一流水线中直接处理文本、图像、音频和视频。不过，我们采用了其主要的理解主干，同时舍弃了文本转语音的输出组件。在生产环境中，Clef-omni 会对完整负载执行快速预填充（prefill）处理，同时对所有模态和有效参数选项进行评分。

由于我们跳过了输出 token 的生成过程（因为 Clef 模型不是大语言模型（LLM）），我们消除了转录或为传入文件添加字幕的开销。媒体元素直接映射到统一序列中，其中视频和音频与视觉帧同步以进行联合处理。随后，Clef-omni 使用我们的两阶段注意力路由直接从内部嵌入中提取候选值：每个有效选项都会从输入中收集关键证据（无论它们是隐藏在文本片段、视觉元素还是音频流中），然后字段向量会在完整上下文中进行交叉注意力计算，以得出置信度分数。我们添加了一个内置的词汇语法，用以保留选项语义，从而能够在每种输入类型上提供快速、模式受限的评分。

我们使用与 Clef 相同的技术训练该模型——冻结 Qwen3 主干网络，训练低秩适配器 (LoRA)，并应用我们标准的后训练方法：将标签平滑交叉熵损失与 Brier 分数校准相结合。最终得到的模型具有极强的韧性，无论模式变化、字段排序和提示结构如何，都能确保成功。

这为 Clef 模型系列带来了几项核心升级。经过校准且绑定模式的决策现在可以在单次 API 调用中无缝处理文本、图像、音频和同步视频。 它也非常快。纯文本决策的中位数响应时间约为 130 毫秒，图像输入约为 150 毫秒，音频片段则在几百毫秒内。即使是带有声音的完整 21 秒视频片段，也能在单次 API 调用中于约 1.5 秒内完成评分。

我们的基准测试显示，即使在引入新模态和 MoE 架构的情况下，该模型在各项基准测试中依然表现强劲。

我们还针对 TypeSafe 评估进行了基准测试，以展示 Clef-omni 的性能。

Clef-flash 模型现已降价

我们听取了您的反馈——您希望决策模型足够实惠，以便整合到任何工作流中。我们进行了一些优化，现在可以以更低的价格提供 Clef-flash。我们希望 Clef 能够为您所有的智能体工作流提供可扩展的决策能力，现在的定价也为此提供了激励。

我们成功优化了模型，使得 Clef-flash 现在比 Jev 更便宜，同时仍保持高性能和高质量。请查看 开发者文档以获取最新的定价信息，包括关于图像和音频模态如何转换为计费输入 Token 的更多详细信息。

• Clef-flash – 原价每百万输入 Token 0.09 美元，现为 每百万输入 Token 0.038 美元
• Clef – 保持 每百万输入 Token 0.24 美元
• Clef-omni – 今日发布，定价为 每百万输入 Token 0.15 美元

然而，为了实现更低的定价，我们不得不做出的一个权衡是缩减 Clef-flash 的上下文窗口。托管版 Clef-flash 的上下文窗口现为 24k，而非此前宣传的 64k。Hugging Face 上的模型权重未受影响，如果您选择自行托管，它们仍支持 256k 的上下文窗口。

根据我们的使用数据，只有 0.24% 的请求超过了 24k 输入 Token。基于此数据，我们决定将 Clef-flash 的上下文窗口降至 24k，以便以更易于接受的入门价格提供服务。我们的 Clef 模型仍保持 64k 上下文窗口，我们建议有更大上下文需求的用户切换到 Clef 而非 Clef-flash。

Clef 模型现已提速

Clef 模型的速度也得到了提升，这得益于 Workers AI 上托管版 Clef 的全新优化。我们没有发布新的模型权重，因为我们所做的大部分优化都处于服务基础设施层，并未对模型权重或架构产生实质性改变。请查看我们下方的最新速度表现：

我们所做的优化之一是改用 SGLang 来提供模型服务。我们与 SGLang 团队合作并提交了合并请求，将 Clef 纳入其中（PR #42721），该功能将在 SGLang 0.5.22 中发布。由于我们已经发布了权重，您也可以自行托管 Clef，新的 SGLang 启动命令可在我们 更新后的 Hugging Face 仓库 以及 SGLang 指南 中找到。

人们是如何使用 Clef 的？

在 Cloudflare，我们有团队正在尝试将 Clef 作为一种能够帮助跨通用领域进行分类的模型。观察各团队采用 Clef 最酷的一点在于，检测和分类的能力已经下沉到了模型层，任何人都可以轻松地将决策模型整合到自己的用例中。此前，即使使用零样本分类器，小型模型在没有进一步微调的情况下，可能也无法胜任跨领域的分类任务。您可能需要组建一个专门的机器学习团队来针对特定领域进行训练，并收集语料库以训练出更好的模型。现在，您只需调用模型，即可立即精确地解析输入数据。

Cloudflare 各团队使用 Clef 的几个亮点：我们的公共 GitHub 文档仓库使用 Clef 来即时 检测并关闭垃圾信息 issue。我们的内容管理系统 EmDash 负责审核插件库中的钓鱼内容。我们的数据防泄漏团队正在扫描数据以查找潜在的个人身份信息 (PII)，例如政府身份证件。我们的威胁情报团队则利用 Clef 来帮助检测恶意域名。

快来试试吧！

我们很高兴为您带来 Clef 模型家族的更多内容，包括音频和视频等新模态，并以更低的价格和更快的速度让模型更易于使用。Clef 完全兼容 Jev-API，并可通过 AI Gateway 获取，因此您只需更改模型 ID 即可立即试用 Clef。请查看我们的 开发者文档 以获取更多信息。

感谢大家对 Cloudflare 首批模型的喜爱与热烈反响——我们正专注于为您带来更多成果。欢迎试用我们的 Clef 模型家族，并告诉我们您的想法。