This site requires Javascript in order to view all its content. Please enable Javascript in order to access all the functionality of this web site. Here are the instructions how to enable JavaScript in your web browser.

GPU NVIDIA H100 Tensor Core

Rendimiento, escalabilidad y seguridad sin precedentes en cualquier centro de datos.

Más información

Un salto exponencial para la computación acelerada

Aprovecha el rendimiento, la escalabilidad y la seguridad sin precedentes para cada carga de trabajo con la GPU NVIDIA H100 Tensor Core. Con NVIDIA^® NVLink^® Switch System, se pueden conectar hasta 256 H100 para acelerar cargas de trabajo de exaescala, junto con un motor transformador dedicado para resolver modelos de lenguaje con billones de parámetros. Las innovaciones tecnológicas combinadas de H100 pueden multiplicar por 30 la aceleración de los modelos de lenguaje de gran tamaño, algo increíble con respecto a la generación anterior, para ofrecer IA conversacional líder del sector.

Leer la hoja de datos de NVIDIA H100

¿Todo listo para la IA empresarial?

La adopción empresarial de la IA ahora es convencional y las organizaciones necesitan una infraestructura integral lista para la IA que los acelere en esta nueva era.

H100 para servidores convencionales incluye una suscripción de cinco años, incluido el soporte empresarial, al conjunto de software NVIDIA AI Enterprise, lo que simplifica la adopción de IA con el mayor rendimiento. Esto garantiza que las organizaciones tengan acceso a los marcos de IA y a las herramientas que necesitan para crear flujos de trabajo de IA acelerados por H100, como chatbots de IA, motores de recomendación, IA de visión y mucho más.

Activar NVIDIA AI Enterprise

Acelera de forma segura las cargas de trabajo de empresa a exaescala

Entrenamiento de IA hasta 9 veces superior en los modelos más grandes

Mezcla de expertos (395 000 millones de parámetros)

El rendimiento proyectado está sujeto a cambios. Combinación de entrenamiento de expertos (MoE) variante de Switch-XXL del transformador con parámetros de 395B en conjunto de datos de token 1T | Clúster A100: red de HDR IB | Clúster H100: sistema de conmutación NVLINK, NDR IB

Entrenamiento de IA transformador

La H100 cuenta con Tensor Cores de cuarta generación y el motor transformador con precisión FP8 que ofrece un entrenamiento hasta 9 veces más rápido con respecto a la generación anterior para modelos de mezcla de expertos (MoE). La combinación de la cuarta generación de NVLink, que ofrece 900 gigabytes por segundo (GB/s) de interconexión de GPU a GPU; sistema de conmutadores NVLINK, que acelera la comunicación colectiva de cada GPU en distintos nodos; PCIe Gen5; y el software NVIDIA Magnum IO™ ofrece la escalabilidad eficiente de pequeñas empresas a clústeres masivos y unificados de GPU.

La implementación de GPU H100 a escala de centro de datos ofrece un rendimiento sin precedentes y pone al alcance de todos los investigadores la nueva generación de computación de alto rendimiento (HPC) a exaescala y una IA con billones de parámetros.

Experimenta NVIDIA AI y NVIDIA H100 en NVIDIA LaunchPad

Inferencia de deep learning en tiempo real

La IA resuelve una amplia variedad de desafíos empresariales, utilizando una amplia gama de redes neuronales. Un gran acelerador de inferencia de IA no solo ofrece el mayor rendimiento, sino también la versatilidad para acelerar estas redes.

H100 amplía aún más el liderazgo de inferencia líder en el mercado de NVIDIA con varios avances que aceleran la inferencia hasta 30 veces y ofrecen la latencia más baja. Los Tensor Cores de cuarta generación aceleran todas las precisiones, incluidos FP64, TF32, FP32, FP16 e INT8, y el motor transformador utiliza FP8 y FP16 juntos para reducir el uso de memoria y aumentar el rendimiento, a la vez que mantienen la precisión para modelos de lenguaje de gran tamaño.

Rendimiento de inferencia de IA hasta 30 veces superior en los modelos más grandes

Inferencia de Megatron Chatbot (530 000 millones de parámetros)

Inferencia de deep learning en tiempo real

Projected performance subject to change. Inference on Megatron 530B parameter model chatbot for input sequence length=128, output sequence length=20 | Clúster A100: red de HDR IB | Clúster H100: red de NDR IB para 16 configuraciones H100 | 32 A100 frente a 16 H100 para 1 y 1,5 s | 16 A100 frente a 8 H100 durante 2 s

Rendimiento hasta 7 veces superior para aplicaciones HPC

Computación de alto rendimiento de exaescala

La plataforma de centros de datos NVIDIA ofrece constantemente mejoras de rendimiento más allá de la ley de Moore. Y las nuevas y revolucionarias capacidades de IA de H100 amplían aún más la potencia de HPC+IA para acelerar el tiempo de descubrimiento para científicos e investigadores que trabajan en resolver los desafíos más importantes del mundo.

H100 triplica las operaciones de punto flotante por segundo (FLOPS) de los Tensor Core de doble precisión, lo que ofrece 60 teraFLOPS de computación FP64 para HPC. Las aplicaciones HPC fusionadas con IA pueden aprovechar la precisión TF32 de H100 para lograr un petaFLOP de rendimiento para operaciones de multiplicación de matriz de precisión única sin cambios de código.

H100 también incluye instrucciones DPX que ofrecen un rendimiento siete veces mayor que las GPU NVIDIA A100 Tensor Core y aceleraciones 40 veces mayores que los servidores tradicionales CPU de doble socket en algoritmos de programación dinámicos, como el Smith-Waterman para la alineación de secuencias de ADN.

Análisis de datos acelerado

El análisis de datos suele consumir la mayor parte del tiempo en el desarrollo de aplicaciones de IA. Dado que los conjuntos de datos de gran tamaño se encuentran dispersos en varios servidores, las soluciones de escalado horizontal con servidores con solo CPU básica se detienen por la falta de rendimiento computacional escalable.

Los servidores acelerados con H100 ofrecen la potencia de computación, junto con 3 terabytes por segundo (TB/s) de ancho de banda de memoria por GPU y escalabilidad con NVLink y NVSwitch, para abordar el análisis de datos con alto rendimiento y escala para admitir conjuntos de datos masivos. Junto con NVIDIA Quantum-2 InfiniBand, el software Magnum IO, Spark 3.0 acelerado por GPU y NVIDIA RAPIDS^™, la plataforma de centro de datos NVIDIA tiene una capacidad única para acelerar estas enormes cargas de trabajo con niveles de rendimiento y eficiencia sin precedentes.

Utilización preparada para la empresa

Los responsables de TI buscan maximizar el uso (tanto máximo como medio) de los recursos informáticos en el centro de datos. A menudo, emplean reconfiguración dinámica de computación a recursos de tamaño adecuado para cargas de trabajo en uso.

La segunda generación de GPU multiinstancia (MIG) en H100 maximiza el uso de cada GPU particionando de forma segura hasta siete instancias separadas. Con la compatibilidad con computación confidencial, H100 permite un uso seguro de extremo a extremo de varios inquilinos, ideal para los entornos de proveedor de servicios en la nube (CSP).

H100 con MIG permite a los administradores de infraestructura estandarizar su infraestructura acelerada por GPU al mismo tiempo que tienen la flexibilidad de aprovisionar recursos de GPU con mayor granularidad para proporcionar de forma segura a los desarrolladores la cantidad adecuada de computación acelerada y optimizar el uso de todos sus recursos de GPU.

Más información sobre MIG

Computación confidencial integrada.

Las soluciones de computación confidencial actuales están basadas en CPU, lo que es demasiado limitado para las cargas de trabajo intensivas en computación como IA y HPC. La computación confidencial de NVIDIA es una característica de seguridad integrada de la arquitectura NVIDIA Hopper™ que convierte a NVIDIA H100 en el primer acelerador del mundo con capacidades de computación confidencial. Los usuarios pueden proteger la confidencialidad y la integridad de sus datos y aplicaciones en uso al mismo tiempo que acceden a la aceleración sin precedentes de las GPU H100. Crea un entorno de ejecución de confianza basado en hardware (TEE) que protege y aísla toda la carga de trabajo que se ejecuta en una sola GPU H100, varias GPU H100 dentro de un nodo o instancias MIG individuales. Las aplicaciones aceleradas por GPU se pueden ejecutar sin cambios en el TEE y no tienen que estar particionadas. Los usuarios pueden combinar la potencia del software de NVIDIA para IA y HPC con la seguridad de una raíz de confianza de hardware ofrecida por la computación confidencial de NVIDIA.

Más información sobre la computación confidencial de NVIDIA

Soluciones de computación confidencial de NVIDIA

La convergencia de GPU y SmartNIC.

NVIDIA H100 CNX combina la potencia de NVIDIA H100 con las capacidades avanzadas de red de la tarjeta de interfaz de red inteligente NVIDIA ConnectX^®-7 (SmartNIC) en una única plataforma. Esta convergencia ofrece un rendimiento sin precedentes para cargas de trabajo intensivas de entrada y salida (IO) con tecnología de GPU, como el entrenamiento de IA distribuido en el centro de datos empresarial y el procesamiento 5G en el perímetro.

Más información sobre NVIDIA H100 CNX

Rendimiento incomparable para IA y HPC a gran escala.

La GPU Hopper Tensor Core potenciará la arquitectura NVIDIA Grace Hopper CPU+GPU, diseñada específicamente para computación acelerada a escala de terabytes y que proporciona un rendimiento 10 veces mayor en IA y HPC de modelos grandes. La CPU NVIDIA Grace aprovecha la flexibilidad de la arquitectura Arm^® para crear una arquitectura de CPU y servidor diseñada desde cero para la computación acelerada. La GPU Hopper se combina con la CPU Grace con la interconexión ultrarrápida de chip a chip de NVIDIA, que ofrece 900 GB/s de ancho de banda, 7 veces más rápido que PCIe Gen5. Este innovador diseño ofrecerá hasta 30 veces más ancho de banda agregado en comparación con los servidores más rápidos de hoy en día y un rendimiento hasta 10 veces superior para aplicaciones que ejecutan terabytes de datos.

Más información sobre NVIDIA EGX

Ver las especificaciones del producto

Formato	H100 SXM	H100 PCIe
FP64	34 teraFLOPS	26 teraFLOPS
Tensor Core de FP64	67 teraFLOPS	51 teraFLOPS
FP32	67 teraFLOPS	51 teraFLOPS
Tensor Core de TF32	989 teraFLOPS*	756 teraFLOPS*
Tensor Core de BFLOAT16	1979 teraFLOPS*	1513 teraFLOPS*
Tensor Core de FP16	1979 teraFLOPS*	1513 teraFLOPS*
Tensor Core de FP8	3958 teraFLOPS	3026 teraFLOPS
Tensor Core de INT8	3958 TOPS*	3026 TOPS*
Memoria de la GPU	80 GB	80 GB
Ancho de banda de memoria de la GPU	3,35 TB/s	2 TB/s
Decodificadores	7 NVDEC 7 JPEG	7 NVDEC 7 JPEG
Potencia máxima de diseño térmico (TDP)	Hasta 700 W (configurable)	300-350 W (configurable)
GPU de varias instancias	Hasta 7 MIG a 10 GB cada uno
Formato	SXM	PCIe Refrigeración por aire de dos ranuras
Interconexión	NVLink: 900 GB/s PCIe Gen5: 128 GB/s	NVLINK: 600 GB/s PCIe Gen5: 128 GB/s
Opciones del servidor	Sistemas partners de NVIDIA HGX^™ H100 y NVIDIA-Certified Systems^™ con 4 u 8 GPU NVIDIA DGX^™ H100 con 8 GPU	Sistemas certificados por NVIDIA y partners con entre 1 y 8 GPU
NVIDIA AI Enterprise	Complemento	Incluido

* Mostrado con dispersión. Las especificaciones son la mitad inferiores sin dispersión.

Especificaciones preliminares. Puede estar sujeto a cambios.

Sumérgete en la arquitectura NVIDIA Hopper.

Leer el informe técnico