NVIDIA 在 OCP 全球峰会上公开 Vera Rubin 架构并推进开源 AI 工厂标准
OCP Global Summit: Amid Ecosystem Adoption, NVIDIA Opens Vera Rubin Architecture to Help Scale AI Factories Worldwide
NVIDIA 在 OCP 全球峰会上宣布将 Vera Rubin 机架和计算托盘设计通过开源的 MGX 架构贡献给 OCP,并与合作伙伴共同发布了下一代人工智能工厂的开放标准、开源软件组件以及全新的网络与电源架构。
原文介绍了新架构和开源规范的具体演进,帮助读者了解下一代人工智能基础设施的设计标准。
随着 AI 工厂从兆瓦级扩展到吉瓦级,其建设需要的不仅仅是先进的计算能力。开放标准正帮助行业更快、更高效、更可靠地扩展 AI 基础设施。
在圣何塞麦克恩利会议中心(San Jose McEnery Convention Center)举行的开放计算项目(OCP)全球峰会上,NVIDIA 宣布了新的合作伙伴关系和贡献,旨在为下一代 AI 基础设施奠定共同的基础。
NVIDIA 通过开放的 NVIDIA MGX 架构向 OCP 贡献了关键的 NVIDIA Vera Rubin 机架和计算托盘设计,为系统构建商开发下一代 AI 工厂基础设施提供了共同的基础。
这些工作共同涵盖了 AI 工厂本身、为其供电的公用电网以及现代加速计算核心的机架级架构。
NVIDIA 与合作伙伴宣布开放架构进展
在 OCP 活动上,NVIDIA 及其合作伙伴发布了一系列公告:
- NVIDIA 与超大规模云厂商发布了面向下一代 AI 工厂的开放标准,包括 AI 工厂设计标准和电网弹性。
- NVIDIA 推出了适用于 NVIDIA DSX AI Factory 的全新开源软件组件。
- Meta 和 NVIDIA 借助 NVIDIA Spectrum-X 以太网 SuperNIC 和 Spectrum-6 创新推动了开放式 AI 网络的发展。
- Visionbay 推出了适用于 Vera Rubin 时代的 800V 直流 AI 工厂设计。
- NVIDIA 和 Cisco 宣布推出超高密度小型可插拔(USFP)标准,这是业界首款用于 400Gb/s 基础网络架构的模块。
- NVIDIA 和 Google 宣布在未来的 NVIDIA ConnectX-10 SuperNIC 和 BlueField DPU 上支持 Falcon Transport。
在座无虚席的观众面前,NVIDIA 超大规模与高性能计算副总裁 Ian Buck 探讨了开放基础设施如何成为全球扩展 AI 工厂的关键要素。
OCP 上的这一消息凸显了 NVIDIA 的极致协同设计与开放标准的结合如何加速部署、提高能效并推动每瓦吞吐量(tokens-per-watt)性能的提升。
Vera Rubin AI 工厂通过 OCP 上的 MGX 机架贡献实现推进
NVIDIA 与行业领导者一同通过 OCP 的开放数据中心倡议(Open DC Initiative),为第三代 MGX AI 数据中心参考设计做出贡献。
结合 MQD 和 MQDB 等开放式液冷技术,这项工作有助于将经过验证的 AI 工厂设计转变为其他企业可以采用、制造和扩展的行业标准。
对于 NVIDIA Vera Rubin AI 工厂,更新后的 MGX 1.2 规范通过机架级盲插液冷、可互操作的机架级互连基础设施以及专为更高功率 AI 系统设计的液冷 5000A 母线排,扩展了 AI 工厂的开放架构。它还增加了对原生 19 英寸设备的支持和更高密度的机架设计。
MGX 1.2 通过可配置的 I/O 托架、无风扇液冷计算托盘、标准化的供电和散热接口以及通用的基础设施,进一步扩展了模块化特性,帮助生态系统合作伙伴构建互操作的加速计算平台。它缩短了组装、测试和维护时间,简化了制造和现场服务,从而实现更快、更高效的基础设施部署。该架构支持高达 250kW 的机架部署,同时简化了可维护性、部署和基础设施的重用。
Vera CPU 机架设计规范将 NVIDIA MGX 开放架构扩展到了加速计算之外,为日益增长的智能体(agentic AI)时代提供了一个专用平台。虽然 Vera Rubin NVL72 是大规模训练和推理的基础,但 NVIDIA Vera CPU 机架旨在支持工具调用、编排和沙盒执行,帮助 AI 智能体与应用程序、数据和服务进行实时交互。
Vera CPU 机架建立在第三代 NVIDIA MGX 机架架构之上,共享相同的机架级设计原则,将计算、网络、电源和散热整合到一个通用的模块化平台中。这种方法使合作伙伴能够在部署专用基础设施的同时,受益于共享的生态系统、简化的集成以及用于下一代 AI 工厂的一致基础。
NVIDIA 推出用于 DSX AI 工厂的新开源软件组件
NVIDIA DSX AI 工厂平台采用极致的协同设计,将计算、网络、电源、散热、设施和软件融为一体,帮助 AI 工厂作为一个优化的单一系统运行,在可用基础设施限制内最大化 AI 产出。该统一系统的核心是 DSX OS,这是一个开放的操作层,可将 DSX 架构转化为协调一致、可大规模重复的操作。
在 OCP 上,NVIDIA 为 DSX OS 扩展了开源组件,用于配置网络、验证集群、管理机架和配置裸金属:
- NVIDIA Config Manager:以极大规模自动化交换机配置,使客户能够以极少甚至零人工干预部署、验证和维护一致的 AI 工厂网络架构。
- NVIDIA Cluster Readiness Engine:通过使用真实工作负载模拟对 GPU 集群进行压力测试,帮助消除代价高昂的任务崩溃,从而在训练开始前保证硬件健康。
- NVIDIA Rack Management Service:提供机架硬件抽象和运维解决方案,将机架视为一等单元,以改善 AI 工厂的大规模固件管理。
- Cluster API Provider for NVIDIA Infrastructure Controller:加速裸金属部署和租户引导,在几小时内(而非几天内)将原始 AI 硬件转化为生产就绪的集群。
这些开源组件是在 NVIDIA 运行 NVIDIA DGX Cloud 的经验基础上开发出来的,使云服务商和软件合作伙伴能够将 AI 工厂功能直接集成到其多租户平台中。
开发者可以访问 DSX AI Factory Github 页面,探索并贡献 NVIDIA DSX AI Factory 平台中的全新及现有开源软件组件。
NVIDIA 与超大规模云厂商发布下一代 AI 工厂开放标准
为了让 AI 基础设施在全球范围内实现规模化扩展,它不仅需要先进的硬件,还需要整个行业能够在其之上构建的共同基础。
在 OCP 上,NVIDIA 联合 AMD、Google 和 Meta 发布了一项新的开放规范,奠定了这一基础。开放数据中心规范 v0.7 定义了下一代 AI 工厂设施设计的统一蓝图——从电力架构到冷却基础设施再到物理布局。
由 Google、Meta、Microsoft 和 NVIDIA 共同发布的 OCP 电网韧性规范 规定了大规模 AI 基础设施在电网受干扰时的应对行为:保持连接、自动响应并在两秒内恢复至接近满负荷。
随着这些标准的开放,全球制造商有了共同的建设目标。设备制造商、托管服务商和数据中心运营商现在可以开始设计、制造和交付支撑全球在建 AI 工厂的基础设施层,而无需等待单个客户的专有规范。
作为兼容 NVIDIA DSX 参考设计的规范,它们提供了一种经过验证且可部署的实现方案,涵盖从设施布局、电力架构到实时监控和响应电网信号的软件。对于构建 Vera Rubin AI 工厂的运营商而言,现在已经有了从开放社区标准通往运行系统的直通路径。
Visionbay.ai 为 Vera Rubin 时代设计 800VDC AI 工厂
随着 AI 工厂规模越来越大、功能越来越强,一个挑战随之显现:为驱动下一代 AI 的加速计算系统提供充足的电力。
在 OCP 上,Visionbay 公布了 K-1 计划,这是一个围绕 800 VDC 架构设计并为未来 NVIDIA Vera Rubin 部署打造的下一代 AI 工厂平台。该项目将 NVIDIA 的 800 VDC 参考架构与 Vertiv 的电源和散热技术相结合,为高密度 AI 基础设施打造了可扩展的基础。
该设计解决了日益严峻的行业挑战。随着 AI 训练、推理和思考工作负载的扩大,机架功耗密度持续攀升。传统的低压配电变得越来越难以扩展,需要更多的铜材、更多的电缆和更多的功率转换设备。
通过采用 NVIDIA 的 800 VDC 架构,K-1 为实现更高密度的 AI 基础设施开辟了一条道路,同时保留了对现有部署的灵活性。该平台无需在第一天就进行全面转型,而是旨在在效益最显著的地方分阶段引入 800 VDC 配电,帮助运营商为未来一代加速计算做好准备,而无需进行大规模的设施重新设计。
该架构围绕集群级电源中心设计,集中了交流转直流(AC-to-DC)转换,并将 800 VDC 更贴近计算资源进行分配。这种方法简化了下游供电,支持模块化扩展,并为未来 AI 工厂的增长创造了可复制的构建模块。
K-1 还体现了 NVIDIA AI 工厂背后的系统级设计理念,即电力、冷却和计算共同进行工程设计。通过支持液冷基础设施、可扩展配电以及未来的 Vera Rubin 级部署,该项目展示了生态系统合作伙伴如何将 NVIDIA 的 AI factory 架构转化为专为下一代加速计算设计可部署的基础设施。
Meta 与 NVIDIA 携手 Spectrum-6 和多平面技术推进 AI 网络发展
在活动中,Meta 与 NVIDIA 宣布,Meta 正在采用 NVIDIA Spectrum-6 102.4Tb/s 以太网交换机,以基于开放网络构建更大、更高性能的 NVIDIA Vera Rubin AI 工厂。
Spectrum-6 提供了两倍于 Spectrum-4 的交换容量和单通道带宽,并以单通道 200G 提供无损以太网 AI 结构,具备高有效带宽和性能隔离,可防止一个任务的流量拖慢另一个任务。
Meta 基于 Spectrum-6 的交换机 N-IceCube 可插入 Meta 的 100T 液冷机架 IcePack 中。N-IceCube 运行 Facebook 开放交换系统(FBOSS),这是 Meta 的开源网络操作系统,曾贡献给 OCP 以支持超大规模的高效网络。
FBOSS 基于交换抽象接口(Switch Abstraction Interface,NVIDIA 协助开发的 OCP 标准),提供了一种与厂商无关的控制交换机硬件的方法。这些技术共同支持由超过 10 万个 GPU 组成的主动式 AI 工厂,用于训练和提供海量混合专家模型。
这一宣布标志着双方合作迈出了下一步,该合作将 Meta 在超大规模运营 AI 基础设施的经验与 NVIDIA 的网络技术结合在一起。
这种合作的核心是 Spectrum-X 多平面技术,由 Spectrum-6 交换机和 ConnectX-9 SuperNIC 支持。多平面在硬件中将 GPU 流量分布在多达八个独立的网络平面上,使 AI 工厂能够以更少的交换机层级和更低的基础设施成本扩展到 10 万个以上的 GPU。GPU 之间的多条路径提高了网络利用率和弹性:当某个组件发生故障时,流量会转移到其余平面,使 GPU 保持高效运行,AI 应用程序即使在带宽降低的情况下也能继续运行。
Meta 和 NVIDIA 通过部署经验和快速工程迭代,共同合作以增强这种弹性。双方团队在本地和云环境中验证了各项改进。
Meta 数据中心和 AI 网络高级总监 Omar Baldonado 表示:“我们很高兴能与 NVIDIA 紧密合作,使多平面光纤(multiplane fabrics)实现可扩展的运营和高性能,这对于我们自身的基础设施建设以及我们的联合云合作伙伴来说都是一项关键要求。将 FBOSS 扩展到 Spectrum ASIC 意味着我们可以在整个光纤网络中运行相同的软件栈,而 Meta 基于 Spectrum 的全新交换机 N-IceCube 将其引入了 Icepack —— 这是我们用于横向扩展的液冷 102.4T 网络机架,用于连接我们集群中即将推出的新一代加速器。”
Meta 与 NVIDIA 正在共同开发一套可供其他 AI 基础设施运营商采用的架构与运营手册,将要求严苛的生产工作负载中的经验转化为更具可扩展性、弹性和效率的 AI 工厂。
借助 USFP,NVIDIA 与思科(Cisco)为 AI 工厂规模重新定义了可插拔光模块
随着 AI 工厂规模不断扩大以支持更大的模型和激增的推理需求,基础设施栈的每一个组件都必须提供更高的性能、效率和简洁性 —— 一直延伸到网络连接本身。
在 OCP 上,NVIDIA 和 思科 宣布了面向 USFP 的计划,这是一种全新的光收发一体机模块外形尺寸,旨在帮助 AI 工厂建设者扩展下一代 AI 光纤网络,同时提高带宽密度和电源效率。
USFP 具有与广受欢迎的每通道 200Gb/s OSFP 外形尺寸大致相同的占板面积,将为每通道 400Gb/s 网络铺平道路,并将延续已在多代数据中心网络中得到验证的基于收发器的部署模型。USFP 封装了 16 个全双工通道,并计划扩展到 32 个通道,其带宽密度将达到传统每通道 200Gb/s 可插拔光模块的四倍。
其结果是能够在不增加会提高延迟、功耗和复杂性的网络层级的情况下,连接更多的计算资源。
这种新的外形尺寸专为下一代 AI 工厂的规模和效率需求而设计,在支持更高带宽光纤网络的同时,保留了使可插拔光模块成为现代数据中心中流砥柱的灵活性和可维护性。它还将提供大约 1.3 倍的更高能效,帮助运营商以更少的能量传输更多的数据。
为了推动开放式生态系统,NVIDIA 和 思科 正在与 TE Connectivity 和 Amphenol 就保持架、连接器和模块展开合作,计划通过社区主导的多源努力来推进 USFP。这些公司正在共同为更具可扩展性、高效性和互操作性的 AI 工厂网络奠定基础。
Google Falcon Transport 支持 NVIDIA ConnectX-10,实现可互操作的 AI 网络
NVIDIA 和 Google 还宣布未来的 NVIDIA ConnectX-10 SuperNIC 和 BlueField DPU 将支持 Falcon Transport,从而帮助提高大规模 AI 基础设施的网络效率。
Falcon 是一种传输协议,旨在通过以太网网络可靠地传输数据,否则以太网网络可能会在拥塞时丢包。它通过多路径负载均衡、可编程拥塞控制、硬件丢包恢复和逐连接安全性,为 AI 和存储工作负载提供支持。
此次合作将 NVIDIA 硬件加速与 DOCA 软件相结合,以实现 Falcon 并将 NVIDIA 网络扩展到 Google 的 数据中心传输。NVIDIA 和 Google 网卡可以通过通用传输进行通信,同时应用程序保留标准的 RDMA 编程接口。
通过在多条路径之间分发流量、适应拥塞、恢复丢包并保护连接,Falcon 有助于工作负载更好地利用可用带宽,并在以太网网络规模扩大时保持可预测的性能。
欢迎参加 NVIDIA OCP 大会以了解更多信息。
来源:NVIDIA Blog · blogs.nvidia.com