Inception Labs 发布 Mercury 3 大模型
Mercury 3: Diffusion at scale
Inception Labs 推出 Mercury 3,这是目前能力最强的扩散大模型。该模型在多个基准测试中表现优于同类速度优化模型,运行速度达每秒 1,000 token 以上,支持 1M token 上下文,并已在 API 平台上线。
原文公布了新型扩散大模型的各项基准表现和定价,读者可以据此评估其在低延迟场景中的实际部署价值。
今天我们推出迄今为止能力最强的基于扩散模型的 LLM——Mercury 3。在各项基准测试中,Mercury 3 的表现均优于 GPT-6 Luna 和 Claude Haiku 5.5,同时运行速度快 4 到 8 倍,速度超过每秒 1,000 个 Token。
Mercury 3 表明,文本扩散模型是可以扩展的。它比 Mercury 1 大 40 多倍,智能水平大幅提升,但速度依然同样快。
早期体验合作伙伴已将 Mercury 3 用于语音和聊天支持、实时辅导、数据工程以及网页导航:
Mercury 3 概览
质量:与 GPT-6 Luna 和 Claude Haiku 5.5 等前沿速度优化模型相当或更优。
速度:在 NVIDIA GPU 上达到每秒 1,068 个 Token。
上下文:100 万个 Token,而 Mercury 2.5 为 26 万个
价格:每百万输入 Token 0.20 美元,每百万输出 Token 0.70 美元。
在发布之际,Mercury 3 享受 5 折优惠,输入价格为每百万 Token 0.10 美元,输出价格为每百万 Token 0.35 美元。缓存的 Token 享受输入价格的 1 折优惠。
规模化扩散模型
当我们推出 Mercury 1 时,它是扩散模型 LLM 可用于商业应用的第一个证明。AI 社区中悬而未决的问题是,扩散模型 LLM 是否能够扩展并在复杂用例上与自回归模型竞争。
Mercury 3 回答了这个问题:它们可以。我们将 Mercury 的总参数量扩展了 40 多倍,在各项标准基准测试中的智能水平从 Mercury 1 (mini) 到 Mercury 3 提升了 3 倍。推动自回归模型发展的规模法则同样适用于扩散模型。
生产环境中的 Mercury 3
早期体验合作伙伴已经在运行 Mercury 3,为浏览器使用代理、互动教育、实时搜索代理和客户支持等对延迟敏感的应用提供动力。
浏览器使用代理
代理在每一步都在等待模型,因此微小的延迟会迅速累积。无论代理是在浏览网站、跨来源搜索,还是在分析日志和排查事件,Mercury 都能保持每次迭代的高速度。代理能更快完成任务,并在回答前有时间尝试更多方法。
我们在生产环境的网页代理测试框架中,针对前沿模型运行了 Mercury 3,测试了 50 个实时的 Mind2Web 导航任务。Mercury 3 完成了其中 50% 的任务,显著多于 GPT-6.1-Sol。它在消耗相同 Token 量和相同代理步数的情况下实现了这一点,而每个 Token 的成本却低得多。
Shuhao Zhang,TinyFish AI 联合创始人
互动教育
学习依赖于快速的反馈循环,任何延迟都会让学生分心。无论是进行对话的语音导师、批改作业的助手,还是根据学生刚答错的内容调整下一道题的应用,Mercury 都能对每个请求进行推理并近乎实时地响应。
Mercury 3 让我们能够在不牺牲推理能力的情况下,为每个学生提供即时反馈。提示、批改的答案和定义现在大约只需一秒钟即可返回,质量与我们之前运行的模型一样好甚至更好。当学生卡在某道题上时,这种速度能让他们继续学习而不是干等,并且它可以直接无缝替换我们现有的技术栈。
Michael Tong,General Learning(又名 RevisionDojo)联合创始人兼 CTO
实时搜索代理
搜索应用在延迟短短几秒后就会让人感觉响应迟钝。Mercury 3 的运行速度足够快,可以在用户保持专注的同时处理数十份文档并给出回答。
在智能眼镜上,需要五秒钟才有回应的交互体验会让人觉得坏掉了。在我们的 Sense API 测试中,Octen 搜索耗时约 80 毫秒;模型生成是性能瓶颈。在我们在测试中评估过的高速模型里,Mercury 3 在速度和质量之间取得了最佳平衡,其生成时间中位数为 0.9 秒,端到端响应时间中位数为 2.2 秒。
Kuan Zou,Octen AI 创始人兼首席执行官
客户支持
客服代表必须迅速做出回应,其服务的通常又是对合规要求极高、一旦答错代价高昂的企业。Mercury 在不牺牲准确性的前提下,让回复保持对话感。
在 Lorikeet,我们帮助复杂且受监管的企业为客户打造跨越语音、聊天和电子邮件的礼宾服务。在聊天和语音场景中,客户需要快速响应,但我们绝不能在准确性或正确完成任务上妥协。在早期测试中,Mercury 3 在延迟方面击败了其他模型,同时在评测和生产环境中也表现得更为出色。
Michael Gribben,Lorikeet 技术人员
实时产品矩阵
Mercury 3 是不断扩大的实时 AI 产品组合中的旗舰模型。
Mercury Voice:Mercury Voice 专门针对语音应用的极低延迟需求进行定制,旨在最大限度地缩短首字生成时间(TTFAT),而不仅仅是端到端延迟。它目前已为 Audivi AI、Altur 和 OpenCall 的智能体提供动力。
Mercury Decide:Mercury Decide 是一款专为高吞吐量分类构建的决策模型。它在 JevBench 和 LegalBench 等基准测试中的表现优于 Jev。
开始使用
Mercury 3 现已在 Inception API 平台上线,也可通过 OpenRouter、Baseten 和 Vercel 获取。它兼容 OpenAI API,因此无需重写代码即可直接融入您现有的技术栈。企业级部署支持独立算力、自动扩展、合规控制和可配置的数据保留策略。
Mercury 3 现已上线。扩散规模正在扩展。
来源:Hacker News-首页 · inceptionlabs.ai