NVLink 交换机芯片

NVIDIA NVLink 和 NVLink 交换机

高速、多 GPU 通信的基础模组,助力将大型数据集更快地输入模型并在 GPU 之间快速交换数据。

速度更快的纵向扩展互连已成为当前的迫切需求

要充分发挥百亿亿级 (Exascale) 计算和万亿参数 AI 模型的潜力,关键在于服务器集群内每个 GPU 实现快速、无缝的通信。第五代 NVIDIA NVLink™ 是一种纵向扩展 (Scale up) 的互连技术,可强劲助力 AI 推理并加速万亿参数推理模型的性能。

NVLink 大规模性能

NVIDIA Grace Blackwell 机架式解决方案中的 NVLink 技术将 GPU 间通信带宽提升至前一代的 2 倍,助力研究人员使用更大、更精密的应用程序来解决更复杂的问题。

借助 NVLink 通信提高逻辑推理吞吐量

使用 NVIDIA NVLink 和 NVLink 交换机完全连接 GPU

NVLink 是一种 GPU 之间的直接互连技术,双向通信速度达 1.8 TB/s,可扩展服务器内的多 GPU 之间的输入/输出 (IO)。NVIDIA NVLink 交换机芯片可连接多个 NVLink,实现在单个机架内和多个机架间以 NVLink 的最高速度进行 all-to-all GPU 通信。

为了支持高速集合运算,每个 NVLink 交换机都配有 NVIDIA SHARP™ 技术引擎,可用于网络内归约和组播加速。

借助 NVLink 交换机系统加速万亿参数模型的测试时逻辑推理

借助 NVLink 交换机,可以跨节点扩展 NVLink 连接,以创建无缝、高带宽、多节点的 GPU 集群,从而有效地形成数据中心大小的 GPU。NVIDIA NVLink 交换机可在一个 NVIDIA Grace Blackwell 机架式解决方案中实现 130TB/s 的 GPU 带宽,以实现大型模型并行。采用 NVLink 的多服务器集群可在计算增加时平衡 GPU 通信,高效构建机架式解决方案,支持的 GPU 数量达到单个 8-GPU 系统的 9 倍。

NVIDIA NVLink 交换机

NVIDIA NVLink 5 交换机配备 144 个 NVLink 端口,无阻塞交换能力为 14.4 TB/s。机架交换机可为 NVIDIA GB300 NVL72 系统提供高带宽和低延迟,支持第五代外部 NVLink 连接。


从企业级计算扩展至百亿亿次级 (Exascale) 计算

通过完全连接实现非凡性能

NVLink 交换机是首款 ASIC 芯片技术机架级交换机,能够在无阻塞计算结构中支持多达 576 个全连接 GPU。NVLink 交换机能以惊人的 1800GB/s 的速度互连每对 GPU。它还支持完整的多对多通信。NVIDIA GB300 NVL72 系统中的 72 个 GPU 可用作单个高性能加速器,拥有高达 1.4 exaFLOPS 的 AI 计算能力。

功能强大的 AI 和 HPC 平台

NVLink 和 NVLink 交换机是整个 NVIDIA 数据中心解决方案的必要基础模组,该解决方案融合了来自 NVIDIA AI Enterprise 软件套件和 NVIDIA NGC™ 目录中的硬件、网络、软件、库以及优化的 AI 模型和应用。作为强大的端到端 AI 和高性能计算平台,它让研究人员能够更快地得到真实的结果,并能将解决方案部署到生产环境中,从而在各种规模上实现出色的加速。

深入研究 NVIDIA Blackwell 架构