La necesidad de interconexiones más rápidas y escalables

El aumento de las demandas de computación en la IA y la computación de alto rendimiento (HPC), y una clase incipiente de modelos de billones de parámetros, están impulsando la necesidad de sistemas de varios nodos y varias GPU con comunicación fluida y de alta velocidad entre cada GPU. Para crear la plataforma informática integral más potente que pueda ajustarse a la velocidad de la empresa, se necesita una interconexión más rápida y escalable.

NVIDIA A100 PCIe with NVLink GPU-to-GPU connection
NVIDIA A100 with NVLink GPU-to-GPU connections

Rendimiento NVLink

Rendimiento NVLink

Conexión total de GPU con NVIDIA NVSwitch

La tercera generación de NVIDIA NVSwitch se basa en la capacidad de comunicación avanzada de NVLink a fin de ofrecer un mayor ancho de banda y una latencia reducida para cargas de trabajo intensivas en computación. A fin de permitir operaciones colectivas y de alta velocidad, cada NVSwitch tiene 64 puertos NVLink equipados con motores para el Protocolo Escalable de Reducción y Agregación Jerárquica (SHARP) de NVIDIA para reducciones de red y aceleración de multidifusión.

Fully Connect GPUs with NVIDIA NVSwitch
NVLink and NVSwitch Work Together

Cómo funcionan NVLink y NVSwitch juntos

NVLink es una interconexión directa entre GPU que escala la entrada/salida (IO) de varias GPU dentro del servidor. NVSwitch conecta varios NVLinks para ofrecer comunicación total con la GPU a velocidad NVLink completa dentro de un solo nodo y entre nodos.    

Con la combinación de NVLink y NVSwitch, NVIDIA ha ganado MLPerf 1.1, el primer punto de referencia de IA del sector.

Escala para entrenar modelos de billones de parámetros

Con NVSwitch, las conexiones NVLink se pueden extender a través de nodos para crear un clúster de GPU sin problemas, de alto ancho de banda y de varios nodos, que forma eficazmente una GPU con tamaño de centro de datos. Al añadir un segundo nivel de conmutadores NVSwitch externamente a los servidores, la red NVLink puede conectar hasta 256 GPU y ofrecer un asombroso ancho de banda completo de 57,6 terabytes por segundo (TB/s), lo que permite resolver rápidamente incluso los mayores trabajos de IA. 

Scale-Up to Train Trillion Parameter Models
NVIDIA NVLink Switch

Conmutador NVIDIA NVLink

El conmutador de NVIDIA NVLink cuenta con 128 puertos NVLink con una capacidad de conmutación sin bloqueo de 3.2 terabytes por segundo (TB/s). El conmutador de rack está diseñado para ofrecer un ancho de banda alto y una latencia baja en los sistemas NVIDIA DGX y NVIDIA HGX que admiten conectividad NVLink externa de cuarta generación.

Escalado de empresa a exaescala

Conexión completa para un rendimiento sin igual

NVSwitch es la primera arquitectura de conmutador en el nodo que admite de 8 a 16 GPU totalmente conectadas en un único nodo de servidor. NVSwitch de tercera generación interconecta cada par de GPU con unos increíbles 900 GB/s. Admite comunicación completa entre todos los componentes. Las GPU se pueden utilizar como un solo acelerador de alto rendimiento con hasta 15 petaFLOPS de potencia de computación de deep learning. 

La plataforma de IA y HPC más potente

NVLink y NVSwitch son elementos esenciales de la solución completa del centro de datos de NVIDIA que incorpora hardware, redes, software y bibliotecas, así como modelos y aplicaciones de IA optimizados del software de IA NVIDIA y el catálogo de NVIDIA NGC. La plataforma de IA y HPC integral más potente, permite a los investigadores ofrecer resultados reales e implementar soluciones en producción, impulsando una aceleración sin precedentes a todas las escalas. 

Especificaciones

  • NVLink

    NVLink

  • NVSwitch

    NVSwitch

  • NVLink y NVSwitch entre servidores

    NVLink y NVSwitch entre servidores

  Segunda generación Tercera generación Cuarta generación
Ancho de banda NVLink por GPU 300 GB/s 600 GB/s 900 GB/s
Número máximo de enlaces por GPU 6 12 18
Arquitecturas NVIDIA compatibles Arquitectura NVIDIA Volta Arquitectura NVIDIA Ampere Arquitectura NVIDIA Hopper
  Primera generación Segunda generación Tercera generación
Cantidad de GPU con conexión directa/nodo Hasta 8 Hasta 8 Hasta 8
Ancho de banda de GPU a GPU de NVSwitch 300 GB/s 600 GB/s 900 GB/s
Ancho de banda agregado total 2,4 TB/s 4,8 TB/s 7,2 TB/s
Arquitecturas NVIDIA compatibles Arquitectura NVIDIA Volta Arquitectura NVIDIA Ampere Arquitectura NVIDIA Hopper
  NVLink y NVSwitch entre servidores
Cantidad de GPU con conexión directa Hasta 256
Ancho de banda de GPU a GPU de NVSwitch 900 GB/s
Ancho de banda agregado total 57,6 TB/s
Reducciones en la red Reducciones SHARP en NVSwitch
Soporte de software clave CUDA®, CUDA-X, Magnum IO
Arquitecturas NVIDIA compatibles Arquitectura NVIDIA Hopper

Dentro de la arquitectura NVIDIA Hopper.

Echa un vistazo con mayor detalle a la arquitectura NVIDIA Hopper y su implementación en la GPU NVIDIA H100 Tensor Core.