GPU NVIDIA H100 Tensor Core

Rendimiento, escalabilidad y seguridad sin precedentes para cada data center.

Más Información

Un salto de orden de magnitud para la computación acelerada.

Aprovecha el rendimiento, la escalabilidad y la seguridad sin precedentes para cada carga de trabajo con la GPU NVIDIA H100 Tensor Core. Con el Sistema de Switch NVIDIA® NVLink®, se pueden conectar hasta 256 H100 para acelerar las cargas de trabajo de exaescala, junto con un motor Transformer dedicado para resolver modelos de idiomas de billones de parámetros. Las innovaciones de tecnología combinadas de H100 pueden acelerar los grandes modelos de idiomas hasta 30 veces más rápido que la generación anterior para ofrecer la IA conversacional líder en la industria.

Leer el NVIDIA H100 PCIe Datasheet
Leer el Resumen del Producto NVIDIA H100 PCIe

¿Estás Listo para la IA Empresarial?

Ahora, las empresas adoptaron la IA de forma generalizada y las organizaciones necesitan una infraestructura integral y lista para IA que las acelere a esta nueva era.

La H100 para servidores convencionales viene con una suscripción de cinco años, incluida la asistencia empresarial, a la suite de software NVIDIA AI Enterprise, lo que simplifica la adopción de la IA con el mayor rendimiento. Esto garantiza que las organizaciones tengan acceso a los frameworks y herramientas de IA necesarios para desarrollar workflows de IA acelerados por H100, como los chatbots de IA, los motores de recomendación, la IA de visión y más.

Activa NVIDIA AI Enterprise

Acelera de forma segura las cargas de trabajo de la empresa  a la exaescala.

Entrenamiento de IA hasta 9 Veces Más Rápido en los Modelos Más Grandes

Combinación de Expertos (395,000 millones de parámetros)

Entrenamiento de IA Transformacional

El rendimiento proyectado puede cambiar. Combinación de Entrenamiento de Expertos (MoE) Variante Transformer Switch-XXL con parámetros 395B en conjunto de datos de tokens 1T | Clúster A100: red HDR IB | Clúster H100: Sistema de Switch NVLINK, NDR IB

Entrenamiento de IA transformador.

La H100 cuenta con Núcleos Tensor de cuarta generación y el Motor Transformer con precisión FP8 que proporciona un entrenamiento hasta 9 veces más rápido, en comparación con la generación anterior para los modelos de combinación de expertos (MoE). La combinación de NVlink de cuarta generación, que ofrece 900 gigabytes por segundo (GB/s) de interconexión entre las GPU; el Sistema de Switch NVLINK , que acelera la comunicación colectiva por cada GPU a través de nodos; PCIe Gen5, y el software NVIDIA Magnum IO™ ofrece escalabilidad eficiente desde pequeñas empresas hasta clústeres de GPU enormes y unificados.

La implementación de las GPU H100 a escala de data centers ofrece un rendimiento sobresaliente y ofrece la próxima generación de computación de alto rendimiento (HPC) con exaescala e IA de billones de parámetros al alcance de todos los investigadores.

Experimenta la IA de NVIDIA y NVIDIA H100 en NVIDIA LaunchPad

Inferencia de deep learning en tiempo real.

La IA resuelve una amplia variedad de desafíos comerciales, ya que usa una amplia variedad de redes neuronales. Un gran acelerador de inferencia de IA no solo tiene que ofrecer el rendimiento más alto, sino también la versatilidad para acelerar estas redes.

H100 extiende aún más el liderazgo de inferencia líder en el mercado de NVIDIA con varios avances que aceleran la inferencia hasta 30 veces y ofrecen la latencia más baja. Los Tensor Cores de cuarta generación aceleran todas las precisiones, lo que incluyendo FP64, TF32, FP32, FP16, INT8, y ahora FP8 para reducir el uso de memoria y aumentar el rendimiento, al mismo tiempo que mantiene la precisión para los grandes modelos de idiomas.

Rendimiento de inferencia de IA hasta 30 veces más alto en los modelos más grandes.

Inferencia de Megatron Chatbot (530,000 millones de parámetros)

Inferencia de Deep Learning en Tiempo Real

Projected performance subject to change. Inference on Megatron 530B parameter model chatbot for input sequence length=128, output sequence length=20 | Clúster A100: Red HDR IB | Clúster H100: Red NDR IB para 16 configuraciones de H100 | 32 A100 y 16 H100 para de 1 y 1,5 s | 16 A100 y 8 H100 durante 2 s

Rendimiento hasta 7 veces más alto para aplicaciones de HPC.

Aplicaciones de HPC Fusionadas con IA

El rendimiento proyectado puede cambiar. Rendimiento de la FFT 3D (4K ^ 3) | Clúster A100: red HDR IB | Clúster H100: Sistema de Switch NVLink, NDR IB | Secuenciación del Genoma (Smith-Waterman) | 1 | A100 1 H100

Computación de alto rendimiento a exaescala.

La plataforma para data centers de NVIDIA ofrece constantemente ganancias de rendimiento más allá de la Ley de Moore. Además, las nuevas y revolucionarias capacidades de IA de H100 amplifican aún más la potencia de HPC+IA para acelerar el tiempo de descubrimiento para los científicos e investigadores que trabajan en la resolución de los desafíos más importantes del mundo.

H100 triplica las operaciones de punto flotante por segundo (FLOPS) de Tensor Cores de doble precisión, para lograr 60 teraFLOPS de computación FP64 para HPC. Las aplicaciones de HPC fusionadas con IA pueden aprovechar la precisión TF32 de H100 para lograr un petaFLOP de tasa de transferencia para operaciones de multiplicación de matrices de precisión única, sin cambios en el código.

H100 también cuenta con instrucciones DPX que ofrecen un rendimiento 7 veces mayor en comparación con las GPU NVIDIA A100 Tensor Core y aceleraciones de 40 veces en comparación con los servidores tradicionales de solo CPU de doble socket en algoritmos de programación dinámica, como Smith-Waterman para la alineación de secuencias de ADN.

Análisis de datos acelerado.

A menudo, el análisis de datos consume la mayor parte del tiempo en el desarrollo de aplicaciones de IA. Dado que los grandes conjuntos de datos se dispersan en varios servidores, las soluciones de escalabilidad horizontal con servidores de solo CPU básicos se verán estancadas por la falta de rendimiento de computación escalable.

Los servidores acelerados con H100 ofrecen la potencia de computación, junto con 3 terabytes por segundo (TB/s) de ancho de banda de memoria por GPU y escalabilidad con NVLink y NVSwitch, para abordar el análisis de datos con alto rendimiento y escalabilidad para admitir enormes conjuntos de datos. La plataforma de data centers de NVIDIA está en una posición única para acelerar estas enormes cargas de trabajo con niveles incomparables de rendimiento y eficacia, ya que se combina con NVIDIA Quantum-2 Infiniband, el software Magnum IO, Spark 3.0 acelerado por GPU y NVIDIA RAPIDS™.

Servidores acelerados con H100
GPU de Múltiples Instancias de NVIDIA

Utilización lista para empresas.

Los gerentes de TI buscan maximizar la utilización (pico y promedio) de los recursos de computación en el data center. A menudo, emplean la reconfiguración dinámica de la computación a los recursos del tamaño adecuado para las cargas de trabajo en uso.

La tecnología las GPU de Múltiples Instancias (MIG) de segunda generación en H100 maximiza la utilización de cada GPU al dividirla de forma segura en hasta siete instancias separadas. H100 es compatible con la computación confidencial y permite un uso seguro de clientes múltiples y de extremo a extremo, ideal para los entornos de proveedores de servicios de cloud (CSP).

H100 con MIG les permite a los administradores de infraestructura estandarizar su infraestructura acelerada por GPU al mismo tiempo que tienen la flexibilidad de aprovisionar recursos de GPU con un mayor detalle para proporcionar de forma segura a los desarrolladores la cantidad correcta de procesamiento acelerado y optimizar el uso de todos sus recursos de GPU.

Más Información sobre MIG

Computación confidencial incorporada.

Las soluciones de computación confidenciales de la actualidad están basadas en CPU, lo que es demasiado limitado para las cargas de trabajo que requieren mucha capacidad de computación, como IA y HPC. La Computación Confidencial de NVIDIA es una función de seguridad integrada de la arquitectura NVIDIA Hopper™, que hace que H100 sea el primer acelerador del mundo con capacidades de computación confidencial. Los usuarios pueden proteger la confidencialidad e integridad de sus datos aplicaciones en uso, al mismo tiempo que acceden a la aceleración sin precedentes de las GPU H100. Crea un entorno de ejecución confiable (TEE) basado en hardware que protege y aísla toda la carga de trabajo que se ejecuta en una sola GPU H100, en varias GPU H100 en un nodo o en instancias de MIG individuales. Las aplicaciones aceleradas por GPU se pueden ejecutar sin cambios en el TEE y no tienen que dividirse. Los usuarios pueden combinar la potencia del software de NVIDIA para IA y HPC con la seguridad de una raíz de confianza de hardware que ofrece la Computación Confidencial de NVIDIA.

Más Información sobre la Computación Confidencial de NVIDIA
Soluciones de Computación Confidencial de NVIDIA
NVIDIA H100CX Converged Accelerator

The convergence of GPU and SmartNIC.

NVIDIA H100 CNX combines the power of H100 with the advanced networking capabilities of the NVIDIA ConnectX®-7 smart network interface card (SmartNIC) in a single, unique platform. This convergence delivers unparalleled performance for GPU-powered input/output (IO)-intensive workloads, such as distributed AI training in the enterprise data center and 5G processing at the edge.

Learn More About NVIDIA H100 CNX
Soluciones de Computación Confidencial de NVIDIA

Rendimiento incomparable para IA y HPC a gran escala.

La GPU Hopper Tensor Core potenciará la arquitectura NVIDIA Grace Hopper de CPU y GPU, diseñada específicamente para la computación acelerada a escala de terabytes y que proporciona un rendimiento 10 veces más alto en IA y HPC de modelos grandes. La CPU NVIDIA Grace aprovecha la flexibilidad de la arquitectura Arm® para crear una arquitectura de CPU y de servidor diseñada desde cero para la computación acelerada. La GPU Hopper se combina con la CPU Grace mediante la interconexión de chips ultrarrápida de NVIDIA, que ofrece 900 GB/s de ancho de banda, 7 veces más rápido que PCIe Gen5. Este diseño innovador ofrecerá un ancho de memoria del sistema banda combinado hasta 30 veces mayor en datos a la GPU en comparación con los servidores más rápidos de la actualidad y un rendimiento hasta 10 veces mayor para aplicaciones que ejecutan terabytes de datos.

Más información sobre NVIDIA Grace

Consulta las especificaciones del producto.

Formato H100 SXM H100 PCIe
FP64 34 teraFLOPS 26 teraFLOPS
FP64 Tensor Core 67 teraFLOPS 51 teraFLOPS
FP32 67 teraFLOPS 51 teraFLOPS
TF32 Tensor Core 989 teraFLOPS* 756 teraFLOPS*
BFLOAT16 Tensor Core 1,979 teraFLOPS* 1,513 teraFLOPS*
FP16 Tensor Core 1,979 teraFLOPS* 1,513 teraFLOPS*
FP8 Tensor Core 3,958 teraFLOPS* 3,026 teraFLOPS*
INT8 Tensor Core 3,958 TOPS* 3,026 TOPS*
Memoria GPU 80 GB 80 GB
Ancho de banda de la memoria de GPU 3.35TB/s 2 TB/s
Decodificadores 7 NVDEC
7 JPEG 		7 NVDEC
7 JPEG
Potencia máxima de diseño térmico (TDP) Hasta 700 W (configurable) 300-350 W (configurable)
Múltiples instancias de GPU Hasta 7 MIGS a 10 GB cada una
Formato SXM PCIe
Refrigeración de aire de doble ranura
Interconexión NVLink: PCIe Gen5 de 900 GB/s: 128 GB/s NVLink: PCIe Gen5 de 600 GB/s: 128 GB/s
Opciones de servidor Socio de NVIDIA HGX™ H100 y Sistemas Certificados por NVIDIA™ con 4 u 8 GPU NVIDIA DGX™ H100 con 8 GPU Socios y Sistemas Certificados por NVIDIA con 1 a 8 GPU
NVIDIA AI Enterprise Complemento Incluido

* Se muestra con baja densidad. Las especificaciones son la mitad más bajas sin baja densidad.

Las especificaciones son preliminares. Pueden estar sujetas a cambios.

Explora en detalle la arquitectura NVIDIA Hopper.

Leer el Documento Técnico
Products
Tecnologías
Software
Recursos