Arquitectura NVIDIA Hopper

El motor para la infraestructura de IA del mundo logra un salto de rendimiento de orden de magnitud

Más Información

La plataforma de computación acelerada para las cargas de trabajo de próxima generación.

Obtén más información sobre el próximo gran salto en computación acelerada con la arquitectura NVIDIA Hopper™. Hopper escala de forma segura diferentes cargas de trabajo en cada data center, desde pequeñas empresas hasta la computación de alto rendimiento (HPC) y la IA con billones de parámetros, para que los innovadores brillantes puedan realizar el trabajo de su vida al ritmo más rápido de la historia de la humanidad.

¿Estás Listo para la IA Empresarial?

La adopción de la IA por parte de las empresas se ha convertido en algo generalizado, y las organizaciones necesitan una infraestructura integral y preparada para la IA que les permita entrar en esta nueva era.

Las GPU NVIDIA H100 Tensor Core para servidores convencionales incluyen la suite de software NVIDIA AI Enterprise, lo que simplifica la adopción de la IA con el rendimiento más alto.

Activar NVIDIA AI Enterprise para H100

Explora los avances tecnológicos.

Hopper se construyó con más de 80,000 millones de transistores con un proceso TSMC 4N de vanguardia. Cuenta con cinco innovaciones revolucionarias que potencian la GPU NVIDIA H100 Tensor Core y se combinan para lograr una increíble aceleración 30 veces mejor con respecto a la generación anterior en la inferencia de IA del chatbot Megatron 530B de NVIDIA, el modelo de lenguaje generativo más grande del mundo.

Motor de Transformadores

Motor de Transformadores

La arquitectura NVIDIA Hopper mejora la tecnología de los Tensor Cores con el Motor de Transformadores, diseñado para acelerar el entrenamiento de los modelos de IA. Los Hopper Tensor Cores tienen la capacidad de aplicar precisiones mixtas FP8 y FP16 para acelerar enormemente los cálculos de IA para los transformadores. Hopper también triplica las operaciones de punto flotante por segundo (FLOPS) para las precisiones TF32, FP64, FP16 e INT8 con respecto a la generación anterior. En combinación con el Motor de Transformadores y NVIDIA® NVLink® de cuarta generación, los Hopper Tensor Cores impulsan una aceleración con orden de magnitud en cargas de trabajo de HPC e IA.

Más información sobre los NVIDIA Tensor Cores

NVLink Network

Para moverse a la velocidad de los negocios, los modelos de HPC a exaescala e IA de billones de parámetros necesitan una comunicación fluida y de alta velocidad entre cada GPU en un clúster de servidores para acelerarse a escala.

La cuarta generación de NVLink es una interconexión de escalabilidad vertical. Ahora, cuando se combina con el nuevo NVLink Switch externo, NVLink Network permite escalar la E/S de múltiples GPU en varios servidores con un ancho de banda de 900 Gigabytes/segundo bidireccional por GPU, más de 7 veces más alto que el ancho de banda de PCIe Gen5. NVLink Network admite clústeres de hasta 256 H100 conectadas y proporciona un ancho de banda 9 veces más alto que InfiniBand HDR en Ampere.

Además, NVLink ahora es compatible con la computación en la red llamada SHARP, que anteriormente solo estaba disponible en Infiniband, y puede proporcionar 1 exaFLOP increíble de computación de IA con baja densidad de FP8, al mismo tiempo que ofrece 57.6 Terabytes/s de ancho de banda All2All.

Más Información sobre NVLink y NVSwitch
NVLink Network
Computación Confidencial de Hopper

Computación Confidencial de Hopper

Si bien los datos se encriptan en reposo en el almacenamiento y en tránsito a través de la red, no están protegidos mientras se procesan. La Computación Confidencial resuelve este inconveniente, ya que protege los datos y las aplicaciones en uso. La arquitectura NVIDIA Hopper presenta la primera plataforma de computación acelerada del mundo con capacidades de computación confidencial.

Con una seguridad sólida basada en hardware, los usuarios pueden ejecutar aplicaciones en las instalaciones, en el cloud o en el edge, y tener la seguridad de que las entidades no autorizadas no pueden ver ni modificar el código de la aplicación ni los datos cuando están en uso. Esto protege la confidencialidad y la integridad de los datos y las aplicaciones cuando se accede a la aceleración sin precedentes de las GPU H100 para el entrenamiento y la inferencia de IA, y las cargas de trabajo de HPC.

Más Información sobre la Computación Confidencial de NVIDIA

MIG de Segunda Generación

Con la GPU de Múltiples Instancias (MIG), una GPU se puede dividir en varias instancias más pequeñas y completamente aisladas con sus propios núcleos de computación, caché y memoria. La arquitectura Hopper mejora aún más las MIG ya que admite configuraciones de clientes y usuarios múltiples en entornos virtualizados en hasta siete instancias de GPU, lo que permite aislar de forma segura cada instancia con la computación confidencial a nivel del hardware y el hipervisor. Los decodificadores de video dedicados para cada instancia de MIG ofrecen un análisis inteligente de videos (IVA) seguro y con una tasa de transferencia alta en la infraestructura compartida. Con la creación de perfiles de MIG concurrente de Hopper, los administradores pueden controlar la aceleración por GPU del tamaño adecuado y optimizar la asignación de recursos para los usuarios.

Para los investigadores con cargas de trabajo más pequeñas, en lugar de alquilar una instancia de CSP completa, pueden elegir usar MIG para aislar de forma segura una porción de una GPU y asegurarse de que sus datos estén protegidos en descanso, en tránsito y en procesamiento.

Más Información sobre MIG
MIG de Segunda Generación
Instrucciones de DPX

Instrucciones de DPX

La programación dinámica es una técnica algorítmica para resolver un problema recursivo complejo dividiéndolo en subproblemas más simples. Reduce el tiempo y la complejidad de la resolución exponencial de problemas, ya que almacena los resultados de los subproblemas para que no tengas que volver a compilarlos más tarde. La programación dinámica se usa comúnmente en una amplia variedad de casos de uso. Por ejemplo, Floyd-Warshall es un algoritmo de optimización de rutas que se puede usar para asignar las rutas más breves a las flotas de envío y entrega. El algoritmo Smith-Waterman se usa para aplicaciones de alineación de secuencias de ADN y plegamiento de proteínas.

Hopper presenta las instrucciones de DPX con una aceleración de los algoritmos dinámicos de programación 40 veces mejor que las CPU y 7 veces mejor que las GPU de la arquitectura NVIDIA Ampere. Esto agiliza enormemente el diagnóstico de enfermedades, las optimizaciones de rutas en tiempo real e, incluso, los análisis de gráficos.

Más Información sobre las Instrucciones de DPX

Las especificaciones preliminares pueden cambiar
Comparación de 4 GPU HGX H100 con instrucciones de DPX y 32 núcleos IceLake de doble socket

Explora en detalle la arquitectura NVIDIA Hopper.

Leer Whitepaper
Products
Tecnologías
Software
Recursos