La necesidad de interconexiones más rápidas y escalables

El aumento de las demandas de computación en la IA y la computación de alto rendimiento (HPC), como una clase incipiente de modelos de billones de parámetros, está impulsando la necesidad de sistemas de varios nodos y varias GPU con comunicación fluida y de alta velocidad entre cada GPU. Para crear la plataforma informática integral más potente que pueda ajustarse a la velocidad de la empresa, se necesita una interconexión más rápida y escalable.

Maximiza el rendimiento del sistema con NVIDIA NVlink

La cuarta generación de la tecnología NVIDIA® NVLink® ofrece un ancho de banda 1,5 veces mayor y escalabilidad mejorada para configuraciones de sistemas con varias GPU. Una sola GPU NVIDIA H100 Tensor Core admite hasta 18 conexiones NVLink para un ancho de banda total de 900 gigabytes por segundo (GB/s), 7 veces el ancho de banda de PCIe Gen5. 

Servidores como el NVIDIA DGX™ H100 aprovechan esta tecnología a fin de ofrecer una mayor escalabilidad para una formación ultrarrápida de deep learning.

NVIDIA A100 con conexión GPU a GPU NVLink

NVIDIA H100 PCIe con conexión GPU a GPU NVLink

NVIDIA A100 con conexiones GPU a GPU NVLink

NVIDIA H100 con conexiones GPU a GPU NVLink

Rendimiento NVLink

Rendimiento NVLink

NVLink en NVIDIA H100 aumenta en 1,5 veces el ancho de banda de comunicación entre GPU en comparación con la generación anterior, por lo que los investigadores pueden utilizar aplicaciones más grandes y sofisticadas para resolver problemas más complejos.

Conexión total de GPU con NVIDIA NVSwitch

La tercera generación de NVIDIA NVSwitch™ se basa en la capacidad de comunicación avanzada de NVLink a fin de ofrecer un mayor ancho de banda y una latencia reducida para cargas de trabajo intensivas en computación. A fin de permitir operaciones colectivas y de alta velocidad, cada NVSwitch tiene 64 puertos NVLink equipados con motores para el Protocolo Escalable de Reducción y Agregación Jerárquica (SHARP)™ de NVIDIA para reducciones de red y aceleración de multidifusión.

Conexión total de GPU con NVIDIA NVSwitch

NVSwitch permite que ocho GPU de un sistema NVIDIA DGX H100 colaboren en un clúster con conectividad de ancho de banda total.

NVLink y NVSwitch funcionan juntos

Cómo funcionan NVLink y NVSwitch juntos

NVLink es una interconexión directa entre GPU que escala la entrada/salida (IO) de varias GPU dentro del servidor. NVSwitch conecta varios NVLinks para ofrecer comunicación total con la GPU a velocidad NVLink completa dentro de un solo nodo y entre nodos.    

Con la combinación de NVLink y NVSwitch, NVIDIA ha ganado MLPerf 1.1, el primer punto de referencia de IA del sector.

Ver la tecnología en acción 

Escala para entrenar modelos de billones de parámetros con el sistema de conmutadores NVLink

Con NVSwitch, las conexiones NVLink se pueden ampliar entre nodos para crear un clúster de GPU fluido, de alto ancho de banda y de varios nodos, formando de manera efectiva una GPU del tamaño de un centro de datos. Al añadir un segundo nivel de conmutadores NVLink externamente a los servidores, el sistema de conmutadores NVLink puede conectar hasta 256 GPU y ofrecer una asombrosa cantidad de 57,6 terabytes por segundo (TB/s) de ancho de banda entre todos los componentes, lo que permite resolver rápidamente incluso los trabajos de IA más grandes. 

Más información sobre NVIDIA H100 
Escala para entrenar modelos de billones de parámetros
Conmutador NVIDIA NVLink

Conmutador NVIDIA NVLink

El conmutador NVIDIA NVLink cuenta con 128 puertos NVLink con una capacidad de conmutación sin bloqueo de 3,2 terabytes por segundo (TB/s). El conmutador de rack está diseñado para ofrecer un ancho de banda alto y una latencia baja en los sistemas NVIDIA DGX y NVIDIA HGX™ que admiten conectividad NVLink externa de cuarta generación.

Más información sobre NVIDIA DGX H100 

Escalado de empresa a exaescala

Conexión completa para un rendimiento sin igual

NVSwitch es la primera arquitectura de conmutador en el nodo que admite de 8 a 16 GPU totalmente conectadas en un único nodo de servidor. NVSwitch de tercera generación interconecta cada par de GPU con unos increíbles 900 GB/s. Admite comunicación completa entre todos los componentes. Las GPU se pueden utilizar como un solo acelerador de alto rendimiento con hasta 15 petaFLOPS de potencia de computación de deep learning. 

La plataforma de IA y HPC más potente

NVLink y NVSwitch son elementos esenciales de la solución completa del centro de datos de NVIDIA que incorpora hardware, redes, software y bibliotecas, así como modelos y aplicaciones de IA optimizados del software de IA NVIDIA y el catálogo de NVIDIA NGC™. La plataforma de IA y HPC integral más potente, permite a los investigadores ofrecer resultados reales e implementar soluciones en producción, impulsando una aceleración sin precedentes a todas las escalas. 

Especificaciones

  • NVLink

    NVLink

  • NVSwitch

    NVSwitch

  • Sistema de conmutación NVLink

    Sistema de conmutación NVLink

  Segunda generación Tercera generación Cuarta generación
Ancho de banda NVLink por GPU 300 GB/s 600 GB/s 900 GB/s
Número máximo de enlaces por GPU 6 12 18
Arquitecturas NVIDIA compatibles Arquitectura NVIDIA Volta™ Arquitectura NVIDIA Ampere Arquitectura NVIDIA Hopper™
  Primera generación Segunda generación Tercera generación
Cantidad de GPU con conexión directa/nodo Hasta 8 Hasta 8 Hasta 8
Ancho de banda de GPU a GPU de NVSwitch 300 GB/s 600 GB/s 900 GB/s
Ancho de banda agregado total 2,4 TB/s 4,8 TB/s 7,2 TB/s
Arquitecturas NVIDIA compatibles Arquitectura NVIDIA Volta Arquitectura NVIDIA Ampere Arquitectura NVIDIA Hopper
  Sistema de conmutación NVLink
Cantidad de GPU con conexión directa Hasta 256
Ancho de banda de GPU a GPU de NVSwitch 900 GB/s
Ancho de banda agregado total 57,6 TB/s
Reducciones en la red Reducciones SHARP en NVSwitch
Soporte de software clave CUDA®, CUDA-X™, Magnum IO™
Arquitecturas NVIDIA compatibles Arquitectura NVIDIA Hopper

Las especificaciones preliminares pueden estar sujetas a cambios

Sumérgete en la arquitectura NVIDIA Hopper

Leer el informe técnico
Productos
Tecnologías
Software
Recursos