跳到正文
NVIDIA Blog· Kari Briski·· 11 天前精选AI 评分72

NVIDIA 发布 Nemotron 3.5 Super VL 与 Bolt 系列开源多模态模型

Open From Data Center to Desktop: NVIDIA Expands Nemotron Family With Highest Efficiency Super VL and Bolt Models

AI 导读

NVIDIA 发布 Nemotron 3.5 系列开源模型,包括 1200 亿参数的 Super VL 多模态模型及两个端侧 Bolt 模型。Super VL 具备前沿的多模态智能与高效吞吐,Bolt 74B-A9B 24GB 和 Bolt E4B 4GB 则分别适配本地工作负载与边缘设备交互。该系列覆盖从企业服务器到桌面及边缘设备的完整智能体部署场景。

推荐理由

文章详细公开了 Nemotron 3.5 系列开源模型的参数规模、端侧适配方案和多模态能力,读者可以据此评估其在本地及企业级智能体部署中的效能。

正文 · AI 翻译

NVIDIA 今日发布了 Nemotron 3.5 Super VL,这是一个拥有 1200 亿参数的开源模型,可为专用的全天候智能体提供最快的任务完成速度和最高的准确率。

与其一同发布的还有两个新的边缘模型:Nemotron 3.5 Bolt 74B-A9B 24GB(针对本地智能体工作负载,在每 GB 的智能与速度之间实现平衡进行优化)以及 Nemotron 3.5 Bolt E4B 4GB(针对快速对话智能体,在每 GB 智能方面进行优化)。

Super VL 和 Bolt 74B-A9B 现已上市,Bolt E4B 将于 10 月 23 日推出。

这三个开源模型共同覆盖了从大型企业服务器到边缘设备和本地硬件的全系列智能体部署。 

任何希望在 NVIDIA 基础设施上运行智能体的组织现在都可以获得与其层级相匹配的开源、优化模型,而无需在能力和可部署性之间做妥协。 

Super VL 和 Bolt 与Lightning 和 Ultra 一起加入了 Nemotron 家族。 

Lightning 于 8 月发布,用于处理高吞吐量工作负载;Ultra 用于处理最困难的推理任务;而 Bolt 则将智能带到了边缘。 

Nemotron 3.5 Super VL:五分之一尺寸的尖端准确率

Super VL 与Nemotron Coalition 合作构建,在多模态智能体任务(指令遵循、工具使用、多步骤业务工作流和视觉理解)上提供领先的准确率,其性能可与 NVIDIA 最大的推理模型相媲美,而参数量仅约为其五分之一。

Nemotron 3.5 Super VL 在同类产品中为高容量智能体工作流提供前沿级别的智能。

作为同类中最快的开源智能体模型——比次优模型快 5 倍——它可帮助企业智能体在跨越数天或数周的工作流中更快地完成高容量任务。 

Nemotron 3.5 Super VL 在 Artificial Analysis Intelligence Index 排行榜上,实现了比同类其他模型高出达 5 倍的吞吐量。

与闭源前沿模型不同,组织可以使用自己的数据对 Super VL 进行后训练,将其部署在自己的基础设施上并监督他们构建的内容。

Nemotron 3.5 Bolt:边缘的智能体智能

Bolt 74B-A9B 24GB 旨在通过原生 2 位量化在 NVIDIA RTX/DGX Spark 上本地运行日常智能体任务,使其能够适配 24GB 内存并与其他应用程序同时运行。

相对于具有相似内存占用的其他模型,它在智能和速度之间提供了良好的平衡:既足够聪明以完成大部分工作,又比最聪明的模型快得多。

借助 Bolt 74B-A9B 24GB,用户可以将他们的项目委托给流行的本地智能体框架——从网页研究到编写再到调试代码——所有这些都无需将工作负载发送到云端。它是PinchBench 上同类产品中排名第一的开源模型,也是BrowseComp 的排名第二的开源模型。

Bolt E4B 4GB 专为 GeForce RTX、Jetson 和 RTX/DGX Spark 上的物理和对话智能体而构建。它将自然对话与多轮智能体功能结合在一起,为快速的本地语音助手、交互式角色和嵌入式界面提供动力。 

定制超级智能的采用

各行各业的数十家组织正在利用自己的数据、工具、策略和工作流对 Super VL 进行后训练,以在定义其智能体部署的专业任务上进一步提高准确性。 

Super VL 正在被各行各业的组织进行后训练和定制。Scale AI 为 Skydance 的供应商信贷财务智能体以及 EY 的并购尽职调查智能体对该模型进行了后训练。 AfterQuery 为 Hebbia 定制了用于信贷协议分析的模型。 AI21 和 Alice 为网络安全攻击防御能力对该模型进行了后训练。 Mercor 在 APEX-SWE 编码基准上对该模型进行了后训练,用于能够规划、编写和调试代码的编码智能体。 ModelScope 允许开发者通过其 ms-swift 框架微调该模型,以用于专门的多模态应用。

定制 Nemotron 3.5 Super VL 的其他组织包括:Ramp(用于财务文档智能);Dream(主权人工智能驱动的网络安全研究与漏洞分析);Lila Sciences(用于科学发现与搜索),以及 R1 (用于医疗索赔分析和收入循环管理)。TrainLoop 使用来自 Nolla 的皮肤病学数据对该模型进行了后训练,Nolla 刚刚成为第一家获准使用人工智能编写初步患者处方的公司。

集成 Nemotron 3.5 Super VL 的软件平台公司包括: 

  • Atlassian,用于 Jira 和 Confluence 等应用中的智能体搜索等任务。
  • CrowdStrike,其正在为企业安全中的智能体蓝队对抗定制该模型。
  • Dassault Systèmes,为工程设计和仿真提供动力。 
  • Perplexity,用于 Perplexity Search 和 Computer 中的搜索与智能体任务。
  • Salesforce,其正在通过 Missionforce Operations 定制 Nemotron,以赋能人工智能智能体,在安全的客户环境中将复杂的政府工作流数字化和自动化。
  • Synopsys 的半导体设计验证软件可与该模型互操作。

Nemotron 3.5 Super VL 实际所见

Nemotron 3.5 Super VL 的视觉语言优势专注于智能体在实践中遇到的内容:视觉文档中的光学字符识别、表格、图表和结构化信息。 

它能够处理网页、提取文本、读取图表,并从其发现的内容中返回见解。这同样适用于智能体常处理的 PDF 和其他文档。

Nemotron 3.5 Super VL 能够理解图像、网页和 PDF,并根据这种理解采取行动。将文本和视觉理解结合在一个模型中,意味着智能体无需在不同系统之间分流任务——当工作从文档流向数据再到决策时,上下文得以完整保留。 

开放以实现最大的控制、安全性和隐私

开放性与可定制性相辅相成。该模型发布时即提供开源权重、开源数据集和训练配方。

掌控力体现在两个方面。企业可以在其安全和数据驻留要求决定的任何地方运行该模型。他们还可以选择采用自己能定制的模型,而不是受制于供应商限制的模型。

例如在保险行业中,定制的智能体可以反复扫描理赔单中的欺诈标志。在金融服务中,智能体可以审查信用评分,并根据企业自身的借贷标准标记活动。模型留在本地部署环境中。数据保持私密。

定制功能由 NVIDIA NeMo、基于 Python 的流水线以及开源数据集提供支持。

Nemotron 3.5 Super VL 在约 26 万亿个 token 上进行了预训练和持续预训练,随后通过约 380 万个样本以及数十个环境中的强化学习进行了后训练。

NVIDIA 还将在 Hugging Face 上发布涵盖智能体工具使用、金融、指令遵循、长上下文、公平性以及视觉语言理解的开源数据集,以及 NeMo Gym 中的强化学习环境。

NVIDIA NIM 将该模型打包为生产就绪的微服务,提供经过性能优化、验证的配置和企业级支持,每两周更新一次安全补丁和性能改进。

借助在 NVIDIA Dynamo 上运行的模型,企业可以为多达 8 倍的用户提供服务,并将延迟降低 85%。

Nemotron 3.5 Super VL 现已在 Hugging Face、Open Router、ModelScope 社区以及作为 NVIDIA NIM 提供。

运行于 DGX Spark、DGX Station 和 RTX 

Nemotron 3.5 Super VL 运行于 NVIDIA 的完整硬件栈:包括用于桌面端本地智能的 DGX Spark、DGX Station、  RTX PRO 和 RTX 系统,边缘端的 NVIDIA Jetson,以及数据中心和云环境。

Nemotron 3.5 Bolt 74B-A9B 24GB 现已在 Hugging Face 上线,支持 llama.cpp、Ollama、LM Studio、Unsloth、Canonical 和 vLLM。它专为 10 月 16 日发售的 NVIDIA RTX Spark 笔记本电脑打造,同时也可在 GeForce RTX 个人电脑、DGX Spark、DGX Station 和 RTX PRO 工作站上运行。

下载开源权重,通过 NVIDIA NeMo 探索定制资源,或阅读技术博客了解完整的架构解析。

订阅 NVIDIA news、 加入社区,并在 LinkedIn、 Instagram、 X 和 Facebook 上关注 NVIDIA AI,随时了解有关智能体、NVIDIA Nemotron 等的最新动态。

探索 自定进度的视频教程和直播。

查看有关软件产品信息的 通知。

来源:NVIDIA Blog · blogs.nvidia.com