NVLink y NVLink Switch
Scale-up networking fabric with high-bandwidth GPU-to-GPU communications for AI training, inference, and other demanding rack-scale GPU-accelerated workloads.
La necesidad de una interconexión de escalado más rápida
Para alcanzar el mayor rendimiento en los modelos de IA más recientes se requieren comunicaciones fluidas y de alto rendimiento de GPU a GPU en todo el bastidor de servidores. Con baja latencia, enorme ancho de banda de red y conectividad de todo a todo, NVIDIA NVLink™ y NVLink Switch de sexta generación están diseñados para acelerar el entrenamiento y la inferencia, permitiendo un razonamiento y cargas de trabajo de IA de agentes a mayor velocidad.
Maximice el rendimiento y el tiempo de actividad del sistema con NVIDIA NVLink
NVLink de sexta generación permite 3,6 TB/s de ancho de banda por GPU para la plataforma NVIDIA Rubin, el doble de ancho de banda que la generación anterior y más de 14 veces el ancho de banda de PCIe Gen6. Las arquitecturas a escala de bastidor como NVIDIA Vera Rubin NVL72 conectan 72 GPU en una topología de todo a todo para un total de 260 TB/s, lo que proporciona un ancho de banda enorme para las comunicaciones de todo a todo necesarias para el entrenamiento y la inferencia de las principales arquitecturas de modelos de mezcla de expertos. NVLink 6 Switch también presenta nuevas características de gestión y resiliencia diseñadas para maximizar el tiempo de actividad del sistema, como la resiliencia del plano de control, la capacidad de ejecución con un bastidor parcialmente poblado y el cambio en caliente de bandejas de conmutador.
Rendimiento a escala de NVLink
NVIDIA NVLink de sexta generación en NVIDIA Rubin duplica el ancho de banda de comunicación de GPU a GPU en comparación con la generación anterior para acelerar el entrenamiento y la inferencia con las arquitecturas de modelos de IA más recientes.
Aumenta el rendimiento del razonamiento con las comunicaciones de NVLink
Conexión total de GPU con NVIDIA NVLink y NVLink Switch
NVLink es una interconexión bidireccional y directa de GPU a GPU de 3,6 TB/s que escala la entrada y salida (IO) de varias GPU dentro de un servidor. Los chips NVIDIA NVLink Switch conectan varios NVLinks para proporcionar comunicación de GPU entre todos los componentes a velocidad NVLink completa en todo el bastidor.
Para permitir operaciones colectivas de alta velocidad, cada NVLink Switch tiene motores para el protocolo escalable de agregación y reducción jerárquica (SHARP)™ de NVIDIA para reducciones en la red y la aceleración de la multidifusión.
Acelera el razonamiento del tiempo de prueba para billones de modelos de parámetros con el sistema NVLink Switch
Con NVLink Switch, las conexiones NVLink se pueden extender a través de nodos para crear un clúster de GPU sin problemas, de alto ancho de banda y de varios nodos que forma eficazmente una GPU con tamaño de centro de datos. NVIDIA NVLink Switch permite 260 TB/s de ancho de banda de GPU en una NVIDIA Vera Rubin NVL72 para paralelismo de modelos de gran tamaño. Los clústeres multiservidor con NVLink escalan las comunicaciones de GPU en equilibrio con el aumento de la computación, por lo que NVIDIA Vera Rubin NVL72 puede ofrecer 9 veces más recuento de GPU, en comparación con un solo sistema de ocho GPU.
NVIDIA NVLink Fusion
NVIDIA NVLink™ Fusion delivers industry-leading AI scale-up and scale-out performance with NVIDIA technology plus semi-custom ASICs or CPUs, enabling hyperscalers to build an ASIC hybrid AI infrastructure with NVIDIA NVLink technology and rack-scale architecture.
Escalado de empresa a exaescala
Conexión completa para un rendimiento sin igual
El chip NVLink Switch de Vera Rubin NVL72 permite 72 GPU totalmente conectadas en una estructura de computación sin bloqueo. NVLink Switch interconecta cada par de GPU con unos increíbles 3,6 TB/s. Admite comunicación completa entre todos los componentes. Las 72 GPU de Vera Rubin NVL72 se pueden utilizar como un solo acelerador de alto rendimiento con hasta 3,6 exaFLOPS de potencia de computación de IA.
La plataforma de IA y HPC más potente
NVLink y NVLink Switch son elementos esenciales de la solución completa del centro de datos de NVIDIA que incorpora hardware, redes, software y bibliotecas, así como modelos y aplicaciones de IA optimizados del software NVIDIA AI Enterprise y el catálogo de NVIDIA NGC™. La plataforma de IA y HPC integral más potente, permite a los investigadores ofrecer resultados reales e implementar soluciones en producción, impulsando una aceleración sin precedentes a todas las escalas.
Especificaciones
-
NVLink
-
NVLink Switch
| Cuarta generación | Quinta generación | Sexta generación | |
|---|---|---|---|
| Ancho de banda NVLink por GPU | 900 GB/s | 1,800 GB/s | 3600 GB/s |
| Número máximo de enlaces por GPU | 18 | 18 | 36 |
| Arquitecturas NVIDIA compatibles | Arquitectura NVIDIA Hopper™ | Arquitectura NVIDIA Blackwell | NVIDIA Rubin Platform |
| Conmutador NVLink 4 | Conmutador NVLink 5 | Conmutador NVLink 6 | |
|---|---|---|---|
| Dominios de GPU NVLink | 8 | 8 |72 | 8 |72 |
| Ancho de banda de GPU a GPU de NVLink Switch | 900 GB/s | 1800 GB/s | 3600 GB/s |
| Ancho de banda agregado total | 7.2 TB/s | 130 TB/s (NVL72) | 260 TB/s (NVL72) |
| Arquitecturas NVIDIA compatibles | Arquitectura NVIDIA Hopper™ | Arquitectura NVIDIA Blackwell | NVIDIA Rubin Platform |
Las especificaciones preliminares pueden estar sujetas a cambios.
Conozca a fondo la plataforma NVIDIA Rubin.