高速、多 GPU 通信的基础模组,助力将大型数据集更快地输入模型并在 GPU 之间快速交换数据。
要充分发挥百亿亿级 (Exascale) 计算和万亿参数 AI 模型的潜力,关键在于服务器集群内每个 GPU 实现快速、无缝的通信。第五代 NVIDIA NVLink™ 是一种纵向扩展 (Scale up) 的互连技术,可强劲助力 AI 推理并加速万亿参数推理模型的性能。
第五代 NVLink 通过使能 GPU 共享内存和计算资源,大幅提升了更大规模多 GPU 系统的扩展能力,显著优化了训练 (Training)、推理 (Inference) 以及逻辑推理 (Reasoning) 工作流。单个 NVIDIA Blackwell GPU 支持多达 18 个 NVLink 100 GB/s 连接,总带宽为 1.8 TB/s,是上一代的 2 倍,是 PCIe 5.0 带宽的 14 倍以上。NVIDIA Blackwell 等服务器平台,利用这项技术为当今极为复杂的大型模型提供更高的可扩展性。
NVIDIA Grace Blackwell 机架式解决方案中的 NVLink 技术将 GPU 间通信带宽提升至前一代的 2 倍,助力研究人员使用更大、更精密的应用程序来解决更复杂的问题。
NVLink 是一种 GPU 之间的直接互连技术,双向通信速度达 1.8 TB/s,可扩展服务器内的多 GPU 之间的输入/输出 (IO)。NVIDIA NVLink 交换机芯片可连接多个 NVLink,实现在单个机架内和多个机架间以 NVLink 的最高速度进行 all-to-all GPU 通信。
为了支持高速集合运算,每个 NVLink 交换机都配有 NVIDIA SHARP™ 技术引擎,可用于网络内归约和组播加速。
借助 NVLink 交换机,可以跨节点扩展 NVLink 连接,以创建无缝、高带宽、多节点的 GPU 集群,从而有效地形成数据中心大小的 GPU。NVIDIA NVLink 交换机可在一个 NVIDIA Grace Blackwell 机架式解决方案中实现 130TB/s 的 GPU 带宽,以实现大型模型并行。采用 NVLink 的多服务器集群可在计算增加时平衡 GPU 通信,高效构建机架式解决方案,支持的 GPU 数量达到单个 8-GPU 系统的 9 倍。
NVIDIA NVLink 5 交换机配备 144 个 NVLink 端口,无阻塞交换能力为 14.4 TB/s。机架交换机可为 NVIDIA GB300 NVL72 系统提供高带宽和低延迟,支持第五代外部 NVLink 连接。
NVIDIA NVLink™ Fusion 为自定义计算提供行业领先的 AI 性能扩展,使超大规模企业能够使用 NVIDIA NVLink 技术和机架级扩展架构构建通用 AI 基础设施。
NVLink 交换机是首款 ASIC 芯片技术机架级交换机,能够在无阻塞计算结构中支持多达 576 个全连接 GPU。NVLink 交换机能以惊人的 1800GB/s 的速度互连每对 GPU。它还支持完整的多对多通信。NVIDIA GB300 NVL72 系统中的 72 个 GPU 可用作单个高性能加速器,拥有高达 1.4 exaFLOPS 的 AI 计算能力。
NVLink 和 NVLink 交换机是整个 NVIDIA 数据中心解决方案的必要基础模组,该解决方案融合了来自 NVIDIA AI Enterprise 软件套件和 NVIDIA NGC™ 目录中的硬件、网络、软件、库以及优化的 AI 模型和应用。作为强大的端到端 AI 和高性能计算平台,它让研究人员能够更快地得到真实的结果,并能将解决方案部署到生产环境中,从而在各种规模上实现出色的加速。
第三代 | 第四代 | 第五代 | |
---|---|---|---|
NVLink 总带宽 | 600GB/s | 900GB/s | 1,800GB/s |
每个 GPU 最大链路数 | 12 | 18 | 18 |
NVIDIA 架构支持 | NVIDIA Ampere 架构 | NVIDIA Hopper™ 架构 | NVIDIA Blackwell 架构 |
NVLink 3 交换机 | NVLink 4 交换机 | NVLink 5 交换机 | |
---|---|---|---|
一个 NVLink 域内直连 GPU 的数量 | 最多 8 个 | 最多 8 个 | 最多 576 个 |
NVSwitch GPU 之间带宽 | 600GB/s | 900GB/s | 1,800GB/s |
聚合总带宽 | 4.8TB/s | 7.2TB/s | 1PB/s |
NVIDIA 架构支持 | NVIDIA Ampere 架构 | NVIDIA Hopper™ 架构 | NVIDIA Blackwell 架构 |
初步规格,可能会有所变更
深入研究 NVIDIA Blackwell 架构