Obtén más información sobre el próximo gran salto en computación acelerada con la arquitectura NVIDIA Hopper™. Hopper escala de forma segura diferentes cargas de trabajo en cada data center, desde pequeñas empresas hasta la computación de alto rendimiento (HPC) y la IA con billones de parámetros, para que los innovadores brillantes puedan realizar el trabajo de su vida al ritmo más rápido de la historia de la humanidad.
Construido con más de 80 mil millones de transistores utilizando un proceso TSMC 4N de vanguardia, Hopper presenta cinco innovaciones innovadoras que impulsan las GPU NVIDIA H200 y H100 Tensor Core y se combinan para ofrecer velocidades increíbles con respecto a la generación anterior en entrenamiento e inferencia de IA generativa.
La arquitectura NVIDIA Hopper mejora la tecnología de los Tensor Cores con el Motor de Transformadores, diseñado para acelerar el entrenamiento de los modelos de IA. Los Hopper Tensor Cores tienen la capacidad de aplicar precisiones mixtas FP8 y FP16 para acelerar enormemente los cálculos de IA para los transformadores. Hopper también triplica las operaciones de punto flotante por segundo (FLOPS) para las precisiones TF32, FP64, FP16 e INT8 con respecto a la generación anterior. En combinación con el Motor de Transformadores y NVIDIA® NVLink® de cuarta generación, los Hopper Tensor Cores impulsan una aceleración con orden de magnitud en cargas de trabajo de HPC e IA.
Para avanzar a la velocidad de los negocios, la HPC a exaescala y los modelos de IA de billones de parámetros necesitan una comunicación fluida y de alta velocidad entre todas las GPU de un clúster de servidores para acelerar a escala.
NVLink de cuarta generación puede escalar la entrada y salida (IO) de varias GPU con servidores NVIDIA DGX™ y NVIDIA HGX™ a 900 gigabytes por segundo (GB/s) bidireccionales por GPU, más de 7 veces el ancho de banda de PCIe Gen5.
NVIDIA NVSwitch™ de tercera generación es compatible con la computación en red del Protocolo de Agregación y Reducción Jerárquica Escalable (SHARP™), que anteriormente solo estaba disponible en Infiniband, y proporciona un aumento de 2 veces en el rendimiento de reducción total dentro de ocho servidores GPU H100 en comparación con los sistemas GPU A100 Tensor Core de la generación anterior.
Los sistemas DGX GH200 con sistema de switch NVLink admiten clústeres de hasta 256 H100 conectados y ofrecen 57,6 terabytes por segundo (TB/s) de ancho de banda de todo a todo.
Si bien los datos se encriptan en reposo en el almacenamiento y en tránsito a través de la red, no están protegidos mientras se procesan. La Computación Confidencial resuelve este inconveniente, ya que protege los datos y las aplicaciones en uso. La arquitectura NVIDIA Hopper presenta la primera plataforma de computación acelerada del mundo con capacidades de computación confidencial.
Con una sólida seguridad basada en hardware, los usuarios pueden ejecutar aplicaciones localmente, en la nube o en el edge y tener la confianza de que entidades no autorizadas no podrán ver ni modificar el código y los datos de la aplicación cuando estén en uso. Esto protege la confidencialidad y la integridad de los datos y las aplicaciones al tiempo que accede a la aceleración sin precedentes de las GPU H200 y H100 para entrenamiento de IA, inferencia de IA y cargas de trabajo de HPC.
Con la GPU de Múltiples Instancias (MIG), una GPU se puede dividir en varias instancias más pequeñas y completamente aisladas con sus propios núcleos de computación, caché y memoria. La arquitectura Hopper mejora aún más las MIG ya que admite configuraciones de clientes y usuarios múltiples en entornos virtualizados en hasta siete instancias de GPU, lo que permite aislar de forma segura cada instancia con la computación confidencial a nivel del hardware y el hipervisor. Los decodificadores de video dedicados para cada instancia de MIG ofrecen un análisis inteligente de videos (IVA) seguro y con una tasa de transferencia alta en la infraestructura compartida. Con la creación de perfiles de MIG concurrente de Hopper, los administradores pueden controlar la aceleración por GPU del tamaño adecuado y optimizar la asignación de recursos para los usuarios.
Para los investigadores con cargas de trabajo más pequeñas, en lugar de alquilar una instancia de CSP completa, pueden elegir usar MIG para aislar de forma segura una porción de una GPU y asegurarse de que sus datos estén protegidos en descanso, en tránsito y en procesamiento.
La programación dinámica es una técnica algorítmica para resolver un problema recursivo complejo dividiéndolo en subproblemas más simples. Reduce el tiempo y la complejidad de la resolución exponencial de problemas, ya que almacena los resultados de los subproblemas para que no tengas que volver a compilarlos más tarde. La programación dinámica se usa comúnmente en una amplia variedad de casos de uso. Por ejemplo, Floyd-Warshall es un algoritmo de optimización de rutas que se puede usar para asignar las rutas más breves a las flotas de envío y entrega. El algoritmo Smith-Waterman se usa para aplicaciones de alineación de secuencias de ADN y plegamiento de proteínas.
Hopper presenta las instrucciones de DPX con una aceleración de los algoritmos dinámicos de programación 40 veces mejor que las CPU y 7 veces mejor que las GPU de la arquitectura NVIDIA Ampere. Esto agiliza enormemente el diagnóstico de enfermedades, las optimizaciones de rutas en tiempo real e, incluso, los análisis de gráficos.
Las especificaciones preliminares pueden cambiar
Comparación de 4 GPU HGX H100 con instrucciones de DPX y 32 núcleos IceLake de doble socket