La necesidad de interconexiones más rápidas y escalables

El aumento de las demandas de computación en la IA y la computación de alto rendimiento (HPC), y una clase incipiente de modelos de billones de parámetros, están impulsando la necesidad de sistemas de varios nodos y varias GPU con comunicación fluida y de alta velocidad entre cada GPU. Para crear la plataforma informática integral más potente que pueda ajustarse a la velocidad de la empresa, se necesita una interconexión más rápida y escalable.

Maximiza el rendimiento del sistema con NVIDIA NVlink

La cuarta generación de la tecnología NVIDIA® NVLink® ofrece un ancho de banda 1,5 veces mayor y escalabilidad mejorada para configuraciones de sistemas con varias GPU. Una sola GPU NVIDIA H100 Tensor Core admite hasta 18 conexiones NVLink para un ancho de banda total de 900 gigabytes por segundo (GB/s), 7 veces el ancho de banda de PCIe Gen5. 

Servidores como el NVIDIA DGX™ H100 aprovechan esta tecnología a fin de ofrecer una mayor escalabilidad para una formación ultrarrápida de deep learning.

NVIDIA A100 PCIe with NVLink GPU-to-GPU connection

NVIDIA H100 PCIe con conexión GPU a GPU NVLink

NVIDIA A100 with NVLink GPU-to-GPU connections

NVIDIA H100 con conexiones GPU a GPU NVLink

Rendimiento NVLink

Rendimiento NVLink

NVLink en NVIDIA H100 aumenta en 1,5 veces el ancho de banda de comunicación entre GPU en comparación con la generación anterior, por lo que los investigadores pueden utilizar aplicaciones más grandes y sofisticadas para resolver problemas más complejos.

Conexión total de GPU con NVIDIA NVSwitch

La tercera generación de NVIDIA NVSwitch™ se basa en la capacidad de comunicación avanzada de NVLink a fin de ofrecer un mayor ancho de banda y una latencia reducida para cargas de trabajo intensivas en computación. A fin de permitir operaciones colectivas y de alta velocidad, cada NVSwitch tiene 64 puertos NVLink equipados con motores para el Protocolo Escalable de Reducción y Agregación Jerárquica (SHARP)™ de NVIDIA para reducciones de red y aceleración de multidifusión.

Fully Connect GPUs with NVIDIA NVSwitch

NVSwitch permite que ocho GPU de un sistema NVIDIA DGX H100 colaboren en un clúster con conectividad de ancho de banda total.

NVLink and NVSwitch Work Together

Cómo funcionan NVLink y NVSwitch juntos

NVLink es una interconexión directa entre GPU que escala la entrada/salida (IO) de varias GPU dentro del servidor. NVSwitch conecta varios NVLinks para ofrecer comunicación total con la GPU a velocidad NVLink completa dentro de un solo nodo y entre nodos.    

Con la combinación de NVLink y NVSwitch, NVIDIA ha ganado MLPerf 1.1, el primer punto de referencia de IA del sector.

DESCUBRE CÓMO FUNCIONA LA TECNOLOGÍA 

Escala para entrenar modelos de billones de parámetros

Con NVSwitch, las conexiones NVLink se pueden extender a través de nodos para crear un clúster de GPU sin problemas, de alto ancho de banda y de varios nodos, que forma eficazmente una GPU con tamaño de centro de datos. Al añadir un segundo nivel de conmutadores NVSwitch externamente a los servidores, la red NVLink puede conectar hasta 256 GPU y ofrecer un asombroso ancho de banda completo de 57,6 terabytes por segundo (TB/s), lo que permite resolver rápidamente incluso los mayores trabajos de IA. 

MÁS INFORMACIÓN SOBRE NVIDIA H100 
Scale-Up to Train Trillion Parameter Models
NVIDIA NVLink Switch

Conmutador NVIDIA NVLink

El conmutador de NVIDIA NVLink cuenta con 128 puertos NVLink con una capacidad de conmutación sin bloqueo de 3.2 terabytes por segundo (TB/s). El conmutador de rack está diseñado para ofrecer un ancho de banda alto y una latencia baja en los sistemas NVIDIA DGX y NVIDIA HGX™ que admiten conectividad NVLink externa de cuarta generación.

MÁS INFORMACIÓN SOBRE NVIDIA DGX H100 

Escalado de empresa a exaescala

Conexión completa para un rendimiento sin igual

NVSwitch es la primera arquitectura de conmutador en el nodo que admite de 8 a 16 GPU totalmente conectadas en un único nodo de servidor. NVSwitch de tercera generación interconecta cada par de GPU con unos increíbles 900 GB/s. Admite comunicación completa entre todos los componentes. Las GPU se pueden utilizar como un solo acelerador de alto rendimiento con hasta 15 petaFLOPS de potencia de computación de deep learning. 

La plataforma de IA y HPC más potente

NVLink y NVSwitch son elementos esenciales de la solución completa del centro de datos de NVIDIA que incorpora hardware, redes, software y bibliotecas, así como modelos y aplicaciones de IA optimizados del software de IA NVIDIA y el catálogo de NVIDIA NGC™. La plataforma de IA y HPC integral más potente, permite a los investigadores ofrecer resultados reales e implementar soluciones en producción, impulsando una aceleración sin precedentes a todas las escalas. 

Especificaciones

  • NVLink

    NVLink

  • NVSwitch

    NVSwitch

  • NVLink y NVSwitch entre servidores

    NVLink y NVSwitch entre servidores

  Segunda generación Tercera generación Cuarta generación
Ancho de banda NVLink por GPU 300 GB/s 600 GB/s 900 GB/s
Número máximo de enlaces por GPU 6 12 18
Arquitecturas NVIDIA compatibles Arquitectura NVIDIA Volta™ Arquitectura NVIDIA Ampere Arquitectura NVIDIA Hopper™
  Primera generación Segunda generación Tercera generación
Cantidad de GPU con conexión directa/nodo Hasta 8 Hasta 8 Hasta 8
Ancho de banda de GPU a GPU de NVSwitch 300 GB/s 600 GB/s 900 GB/s
Ancho de banda agregado total 2,4 TB/s 4,8 TB/s 7,2 TB/s
Arquitecturas NVIDIA compatibles Arquitectura NVIDIA Volta Arquitectura NVIDIA Ampere Arquitectura NVIDIA Hopper
  NVLink y NVSwitch entre servidores
Cantidad de GPU con conexión directa Hasta 256
Ancho de banda de GPU a GPU de NVSwitch 900 GB/s
Ancho de banda agregado total 57,6 TB/s
Reducciones en la red Reducciones SHARP en NVSwitch
Soporte de software clave CUDA®, CUDA-X™, Magnum IO™
Arquitecturas NVIDIA compatibles Arquitectura NVIDIA Hopper

Las especificaciones preliminares pueden estar sujetas a cambios

Dentro de la arquitectura NVIDIA Hopper.

Echa un vistazo con mayor detalle a la arquitectura NVIDIA Hopper y su implementación en la GPU NVIDIA H100 Tensor Core.

LEER EL INFORME TÉCNICO

Productos

Tecnologías

Software

Recursos