GPU NVIDIA H100 Tensor Core

Rendimiento, escalabilidad y seguridad sin precedentes para cada data center.

Un Salto de Orden de Magnitud para la Computación Acelerada

Aprovecha el rendimiento, la escalabilidad y la seguridad sin precedentes para cada carga de trabajo con la GPU NVIDIA H100 Tensor Core. Con el Sistema de Switch NVIDIA® NVLink®, se pueden conectar hasta 256 H100 para acelerar las cargas de trabajo a gran escala, mientras que el Transformer Engine dedicado admite modelos de idiomas de billones de parámetros. H100 utiliza innovaciones en la arquitectura NVIDIA Hopper para ofrecer IA conversacional líder en la industria, acelerando los modelos de idiomas grandes en una increíble cantidad de 30 veces con respecto a la generación anterior.

Acelera de Forma Segura las Cargas de Trabajo de la Empresa  a la Exaescala

Entrenamiento de IA hasta 9 Veces Más Rápido en los Modelos Más Grandes

Combinación de Expertos (395,000 millones de parámetros)

Entrenamiento de IA Transformacional

Entrenamiento de IA Transformacional

Las GPU NVIDIA H100 cuentan con Tensor Cores de cuarta generación y el Motor Transformer con precisión FP8 que proporciona un entrenamiento hasta 9 veces más rápido, en comparación con la generación anterior para los modelos de combinación de expertos (MoE). La combinación de NVlink de cuarta generación, que ofrece 900 gigabytes por segundo (GB/s) de interconexión entre las ; NVSwitch, que acelera la comunicación colectiva por cada GPU a través de nodos; PCIe Gen5, y el software NVIDIA Magnum IO ofrece escalabilidad eficiente desde pequeñas empresas hasta clústeres de GPU masivos y unificados.

La implementación de las GPU H100 a escala de data centers ofrece un rendimiento sin precedentes y ofrece la próxima generación de computación de alto rendimiento (HPC) con exaescala e IA de billones de parámetros al alcance de todos los investigadores.

Inferencia de Deep Learning en Tiempo Real

La IA resuelve una amplia variedad de desafíos comerciales, ya que usa una amplia variedad de redes neuronales. Un gran acelerador de inferencia de IA no solo tiene que ofrecer el rendimiento más alto, sino también la versatilidad para acelerar estas redes.

H100 extiende aún más el liderazgo de inferencia líder en el mercado de NVIDIA con varios avances que aceleran la inferencia hasta 30 veces y ofrecen la latencia más baja. Los Tensor Cores de cuarta generación aceleran todas las precisiones, lo que incluye FP64, TF32, FP32, FP16 y INT8, y el motor Transformer utiliza FP8 y FP16 juntos para reducir el uso de la memoria y aumentar el rendimiento, al mismo tiempo que mantiene la precisión para los grandes modelos de idiomas.

Rendimiento de Inferencia de IA hasta 30 Veces Más Alto en los Modelos Más Grandes

Megatron Chatbot (530,000 millones de parámetros)

Inferencia de Deep Learning en Tiempo Real

Rendimiento hasta 7 Veces Más Alto para Aplicaciones de HPC

Aplicaciones de HPC Fusionadas con IA

Computación de Alto Rendimiento a Exaescala

La plataforma del data center de NVIDIA ofrece ganancias de rendimiento constantes más allá de la Ley de Moore. Y las nuevas capacidades innovadoras de IA de H100 amplifican aún más el poder de HPC e IA para acelerar el tiempo de descubrimiento para los científicos e investigadores que trabajan para resolver los desafíos más importantes del mundo.

H100 triplica las operaciones de coma flotante por segundo (FLOPS) de los Núcleos Tensor de doble precisión, lo que ofrece 60 teraFLOPS de computación FP64 para HPC. Las aplicaciones de HPC fusionadas con IA pueden aprovechar la precisión TF32 de H100 para lograr un petaFLOP de rendimiento para operaciones de multiplicación de matriz de precisión simple, sin cambios de código.

H100 también cuenta con instrucciones DPX que brindan un rendimiento 7 veces mayor que las GPU NVIDIA A100 Tensor Core y 40 veces más velocidades que los servidores tradicionales de solo CPU de doble socket en algoritmos de programación dinámica, como Smith-Waterman para la alineación de secuencias de ADN.

Análisis de Datos

A menudo, el análisis de datos consume la mayor parte del tiempo en el desarrollo de aplicaciones de IA. Dado que los grandes conjuntos de datos se dispersan en varios servidores, las soluciones de escalabilidad horizontal con servidores de solo CPU básicos se verán estancadas por la falta de rendimiento de computación escalable.

Los servidores acelerados con H100 ofrecen la potencia de computación, junto con 3 terabytes por segundo (TB/s) de ancho de banda de memoria por GPU y escalabilidad con NVLink y NVSwitch, para abordar el análisis de datos con alto rendimiento y escalabilidad para admitir enormes conjuntos de datos. La plataforma de data centers de NVIDIA está en una posición única para acelerar estas enormes cargas de trabajo con niveles sin precedentes de rendimiento y eficacia, ya que se combina con NVIDIA Quantum-2 Infiniband, el software Magnum IO, Spark 3.0 acelerado por GPU y NVIDIA RAPIDS.

Servidores acelerados con H100
GPU de Múltiples Instancias de NVIDIA

Utilización Lista para Empresas

Los gerentes de TI buscan maximizar la utilización (pico y promedio) de los recursos de computación en el data center. A menudo, emplean la reconfiguración dinámica de la computación a los recursos del tamaño adecuado para las cargas de trabajo en uso.

La tecnología MIG de segunda generación en H100 maximiza la utilización de cada GPU al dividirla de forma segura en hasta siete instancias separadas. H100 es compatible con la Computación Confidencial y permite un uso seguro de clientes múltiples y de extremo a extremo, ideal para los entornos de proveedores de servicios de cloud (CSP).

H100 con MIG les permite a los administradores de infraestructura estandarizar su infraestructura acelerada por GPU al mismo tiempo que tienen la flexibilidad de aprovisionar recursos de GPU con un mayor detalle para proporcionar de forma segura a los desarrolladores la cantidad correcta de procesamiento acelerado y optimizar el uso de todos sus recursos de GPU.

Seguridad y Computación Confidencial de NVIDIA

Las soluciones de computación confidenciales de la actualidad están basadas en CPU, lo que es demasiado limitado para las cargas de trabajo que requieren mucha capacidad de computación, como IA y HPC. La Computación Confidencial de NVIDIA es una función de seguridad integrada de la arquitectura NVIDIA Hopper, que hace que NVIDIA H100 sea el primer acelerador del mundo con capacidades de computación confidencial. Los usuarios pueden proteger la confidencialidad e integridad de sus datos aplicaciones en uso, al mismo tiempo que acceden a la aceleración sin precedentes de las GPU H100. Crea un entorno de ejecución confiable (TEE) basado en hardware que protege y aísla toda la carga de trabajo que se ejecuta en una sola GPU H100, en varias GPU H100 en un nodo o en instancias de MIG individuales. Las aplicaciones aceleradas por GPU se pueden ejecutar sin cambios en el TEE y no tienen que dividirse. Los usuarios pueden combinar la potencia del software de NVIDIA para IA y HPC con la seguridad de una raíz de confianza de hardware que ofrece la Computación Confidencial de NVIDIA.

Soluciones de Computación Confidencial de NVIDIA
Acelerador Convergente NVIDIA H100CX

Acelerador Convergente NVIDIA H100 CNX

NVIDIA H100 CNX combina la potencia de NVIDIA H100 con las capacidades de red avanzadas de la tarjeta de interfaz de red inteligente (SmartNIC) NVIDIA ConnectX®-7 en una única plataforma. Esta convergencia ofrece rendimiento sin precedentes para las cargas de trabajo intensivas de entrada y salida (E/S) e impulsadas por GPU, como el entrenamiento distribuido de IA en el data center empresarial y el procesamiento de redes 5G en el edge.

Grace Hopper

La GPU Hopper H100 Tensor Core potenciará la arquitectura NVIDIA Grace Hopper de CPU y GPU, diseñada específicamente para la computación acelerada a escala de terabytes y que proporciona un rendimiento 10 veces más alto en IA y HPC de modelos grandes. La CPU NVIDIA Grace aprovecha la flexibilidad de la arquitectura Arm® para crear una arquitectura de CPU y de servidor diseñada desde cero para la computación acelerada. H100 se combina con Grace mediante la interconexión de chips ultrarrápida de NVIDIA, que ofrece 900 GB/s de ancho de banda, 7 veces más rápido que PCIe Gen5. Este diseño innovador ofrecerá un ancho de banda combinado hasta 30 veces mayor en comparación con los servidores más rápidos de la actualidad y un rendimiento hasta 10 veces mayor para aplicaciones que ejecutan terabytes de datos.

Soluciones de Computación Confidencial de NVIDIA

Especificaciones del Producto

Formato H100 SXM H100 PCIe
FP64 30 teraFLOPS 24 teraFLOPS
FP64 Tensor Core 60 teraFLOPS 48 teraFLOPS
FP32 60 teraFLOPS 48 teraFLOPS
TF32 Tensor Core 1,000 teraFLOPS* 800 teraFLOPS*
BFLOAT16 Tensor Core 2,000 teraFLOPS* 1,600 teraFLOPS*
FP16 Tensor Core 2,000 teraFLOPS* 1,600 teraFLOPS*
FP8 Tensor Core 4,000 teraFLOPS* 3,200 teraFLOPS*
INT8 Tensor Core 4,000 TOPS* 3,200 TOPS*
Memoria GPU 80 GB 80 GB
Ancho de banda de la memoria de GPU 3 TB/s 2 TB/s
Decodificadores 7 NVDEC
7 JPEG
7 NVDEC
7 JPEG
Potencia máxima de diseño térmico (TDP) 700 W 350 W
Múltiples instancias de GPU Hasta 7 MIGS a 10 GB cada una
Formato SXM PCIe
Refrigeración por aire de doble apertura
Interconexión NVLink: PCIe Gen5 de 900 GB/s: 128 GB/s NVLink: PCIe Gen5 de 600 GB/s: 128 GB/s
Opciones de servidor Socio de NVIDIA HGX H100 y Sistemas Certificados por NVIDIA con 4 u 8 GPU NVIDIA DGX H100 con 8 GPU Socios y Sistemas Certificados por NVIDIA con 1 a 8 GPU

Explora en Detalle la Arquitectura NVIDIA Hopper