NVIDIA 扩展 Cosmos 平台并推出世界模型训练与部署新工具

为了帮助开发者快速构建世界模型（可帮助物理 AI系统理解并模拟现实世界），NVIDIA 扩展了Cosmos 平台，推出了全新的训练工具、模拟检查点以及 Cosmos Data Factory 蓝图。

NVIDIA Cosmos 平台在六个不同的开源模型排行榜上位居前五，它为世界模型构建者提供了前沿的开源模型，以及数据、训练与优化工具和方法，以便在部署前扩展训练数据、微调模型、测试行为并优化性能。

构建更好的训练数据

构建世界模型始于多模态、多感官数据。

NVIDIA Cosmos Data Factory 汇集了用于大规模标注、筛选、扩充和评估训练物理 AI 数据的工具和技能。Cosmos Curator 是一种用于筛选视频训练数据集的 GPU 加速解决方案，现已添加对多模态多感官输入和处理模块的支持。

阅读 NVIDIA 在欧洲发布的所有公告

Cosmos Data Factory 现提供以下五个云原生蓝图，可通过GitHub、Microsoft Azure、Nebius 和CoreWeave 获取：

自动驾驶汽车数据集生成： 筛选并标注驾驶数据，然后添加难以捕捉场景的合成示例，以扩大训练覆盖范围。
图像属性扩充： 改变对象外观以改进图像搜索。
事件视频生成： 将静态图像转化为罕见或不安全事件的合成视频。
缺陷图像生成： 为检测模型生成印刷电路板、金属和玻璃缺陷图像。
视频数据扩充： 在保留场景结构的同时，改变现有镜头中的天气和光照。

Cosmos Data Factory 通过智能体技能加速了数据筛选、处理和合成数据生成。

各公司已经在将 Cosmos Data Factory 蓝图投入使用，以加速其物理 AI 开发工作流。

保时捷（Porsche）正主导在大众汽车集团（Volkswagen Group）各品牌之间开发共享的 AV 数据飞轮，通过微软 Azure（Microsoft Azure）上的 Voxel51 使用 Cosmos Data Factory。这预计可将重复的实车路测减少高达 90%，并将开发周期缩短高达 85%。

保时捷正在 Voxel51 中搜索和扩充由 Cosmos Data Factory 驱动的自动驾驶汽车数据镜头。

ANYbotics 利用 Cosmos Data Factory 蓝图生成了 1,500 多个合成视频剪辑，筛选真实世界数据，并使用Encord 的平台验证输出，从而训练其工业巡检机器人以识别液体泼洒以及设施访问之间的其他变化。

ANYbotics 正在利用由 NVIDIA Cosmos Data Factory 提供支持的 Encord 生成异常片段。

Ultralytics 是一家计算机视觉公司，它使用真实图像以及 Cosmos Data Factory 生成的有针对性的合成缺陷重新训练了 YOLO 模型，从而改进了缺陷定位和召回率。

训练、适应和优化模型

准备好训练数据后，开发者可以训练自己的架构，或者从预训练模型开始。

在 GTC Berlin 上，NVIDIA 将 Cosmos Framework 的训练、优化和部署工具以及方案作为智能体技能扩展到了更多开源模型以及 Cosmos 3，为世界模型构建者提供了从实验到部署的更快路径。

开发者和智能体现在可以通过微调和强化学习来适应诸如 GR00T、Alpamayo、QWEN、Pi0.5 和其他兼容的 Hugging Face 模型，利用蒸馏和量化技术优化模型，并通过高性能推理进行部署。

Diagram of a model builder agent using skills and open model backbones to prepare data, train, fine-tune, apply reinforcement learning, and optimize world models for inference. — Cosmos Framework 是一个用于模型训练和优化工具与技能的开放式模块化框架，可加速世界模型开发。

为了开发专门用于第一人称操作的世界模型，机器人研究实验室 MicroAGI 在人类操作物体的视频上对 Cosmos 3 进行了后训练，并将其 320 亿参数的推理器蒸馏为 80 亿参数的 Nano 模型，且准确率没有损失。

开发者可以在 Roboflow 上为他们的特定环境和任务标记数据并对 Cosmos 3 进行后训练，然后将这些模型部署到 RoboFlow 托管或本地的 NVIDIA GPU 上，从而将视频推理引入工厂和仓库。

测试策略并更快运行模型

除了这些工具之外，NVIDIA 还通过其在 Cosmos 模型上的工作继续推进基础技术。

用于模拟的全新 Cosmos 3 Nano 模型变体使开发者能够在可重复的、难以捕获的多视角多传感器场景中测试自治策略。配套代码允许开发者在真实世界测试之前，在交互式模拟中调整模型，以训练和评估其用于自动驾驶汽车和双臂机器人的策略。

Cosmos creates videos using a starting image from each camera, a short description of each view, WSM controls and one LiDAR scan of the surroundings. — 用于在闭环模拟中评估策略的多视角和多感官视频数据生成。

开发者可以使用更新的 NVIDIA Cosmos 3 NIM 微服务部署核心 Cosmos 模型，在验证配置下提供高达 2 倍的推理速度提升且画质无损，同时持续的视频分析可实现亚秒级警报。

对于视觉 AI 开发者而言，基于 Cosmos NIM 微服务构建的全新 NVIDIA Metropolis Blueprint for video search and summarization (VSS) 3.3 可以将一个提示词转化为高效的视频 AI 应用，并帮助团队在同一块 GPU 上监控多出 40% 的视频流。

ADNOC 使用基于 Cosmos 和 NVIDIA Metropolis VSS Blueprint 构建的 Fogsphere的 MistIQ agentic platform，在 65 个地点实时检测安全隐患。寵于罕见事件，Fogsphere 还使用 Cosmos Data Factory 生成合成训练数据，在无需实际模拟危险情况的情况下改善检测。

Cosmos 平台是完全模块化和开放的。开发者可以使用 Cosmos Data Factory 来生成训练数据集，使用 Cosmos Framework 来训练和适配世界模型，然后通过 NIM 微服务部署支持的 Cosmos 模型。

阅读所有 NVIDIA 在欧洲的公告