This site requires Javascript in order to view all its content. Please enable Javascript in order to access all the functionality of this web site. Here are the instructions how to enable JavaScript in your web browser.

GPU NVIDIA H100 Tensor Core

Rendimiento, escalabilidad y seguridad sin precedentes en cualquier centro de datos.

Leer el informe técnico

Un gran salto para la computación acelerada

Aprovecha el rendimiento, la escalabilidad y la seguridad sin precedentes para cada carga de trabajo con la GPU NVIDIA H100 Tensor Core. Con NVIDIA^® NVLink^® Switch System, se pueden conectar hasta 256 H100 para acelerar cargas de trabajo de exaescala, al tiempo que el motor transformador dedicado es compatible con modelos de lenguaje con billones de parámetros. H100 usa las innovaciones de la arquitectura de NVIDIA Hopper^™ para ofrecer IA conversacional líder en el sector al multiplicar por 30 la aceleración de los modelos de lenguaje de gran tamaño, algo increíble con respecto a la generación anterior.

Acelera de forma segura las cargas de trabajo de empresa a exaescala

Entrenamiento de IA hasta 9 veces superior en los modelos más grandes

Mezcla de expertos (395 000 millones de parámetros)

Projected performance subject to change. Training Mixture of Experts (MoE) Transformer Switch-XXL variant with 395B parameters on 1T token dataset | A100 cluster: HDR IB network | H100 cluster: NVLINK Switch System, NDR IB

Entrenamiento de IA transformador

Las GPU NVIDIA H100 cuentan con Tensor Cores de cuarta generación y el motor transformador con precisión FP8 que ofrece un entrenamiento hasta 9 veces más rápido con respecto a la generación anterior para modelos de mezcla de expertos (MoE). La combinación de la cuarta generación de NVLink, que ofrece 900 gigabytes por segundo (GB/s) de interconexión de GPU a GPU; NVSwitch, que acelera la comunicación colectiva de cada GPU en distintos nodos; PCIe Gen5; y el software NVIDIA Magnum IO^™ ofrece la escalabilidad eficiente de pequeñas empresas a clústeres masivos y unificados de GPU.

La implementación de GPU H100 a escala de centro de datos ofrece un rendimiento sin precedentes y pone al alcance de todos los investigadores la nueva generación de computación de alto rendimiento (HPC) a exaescala y una IA con billones de parámetros.

Inferencia de aprendizaje profundo en tiempo real

La IA resuelve una amplia variedad de desafíos empresariales, utilizando una amplia gama de redes neuronales. Un gran acelerador de inferencia de IA no solo ofrece el mayor rendimiento, sino también la versatilidad para acelerar estas redes.

H100 amplía aún más el liderazgo de inferencia líder en el mercado de NVIDIA con varios avances que aceleran la inferencia hasta 30 veces y ofrecen la latencia más baja. Los Tensor Cores de cuarta generación aceleran todas las precisiones, incluidos FP64, TF32, FP32, FP16 e INT8, y el motor transformador utiliza FP8 y FP16 juntos para reducir el uso de memoria y aumentar el rendimiento, a la vez que mantienen la precisión para modelos de lenguaje de gran tamaño.

Rendimiento de inferencia de IA hasta 30 veces superior en los modelos más grandes

Megatron Chatbot Inference (530 Billion Parameters)

Inferencia de aprendizaje profundo en tiempo real

Projected performance subject to change. Inference on Megatron 530B parameter model based chatbot for input sequence length=128, output sequence length =20 | A100 cluster: HDR IB network | H100 cluster: NVLink Switch System, NDR IB

Rendimiento hasta 7 veces superior para aplicaciones HPC

Computación de alto rendimiento de exaescala

La plataforma de centros de datos NVIDIA ofrece constantemente mejoras de rendimiento más allá de la ley de Moore. Y las nuevas y revolucionarias capacidades de IA de H100 amplían aún más la potencia de HPC+IA para acelerar el tiempo de descubrimiento para científicos e investigadores que trabajan en resolver los desafíos más importantes del mundo.

H100 triplica las operaciones de punto flotante por segundo (FLOPS) de los Tensor Core de doble precisión, lo que ofrece 60 teraFLOPS de computación FP64 para HPC. Las aplicaciones HPC fusionadas con IA pueden aprovechar la precisión TF32 de H100 para lograr un petaFLOP de rendimiento para operaciones de multiplicación de matriz de precisión única sin cambios de código.

H100 también incluye instrucciones DPX que ofrecen un rendimiento siete veces mayor que las GPU NVIDIA A100 Tensor Core y aceleraciones 40 veces mayores que los servidores tradicionales CPU de doble socket en algoritmos de programación dinámicos, como el Smith-Waterman para la alineación de secuencias de ADN.

Análisis de datos

El análisis de datos suele consumir la mayor parte del tiempo en el desarrollo de aplicaciones de IA. Dado que los conjuntos de datos de gran tamaño se encuentran dispersos en varios servidores, las soluciones de escalado horizontal con servidores con solo CPU básica se detienen por la falta de rendimiento de la informática escalable.

Los servidores acelerados con H100 ofrecen la potencia de computación, junto con 3 terabytes por segundo (TB/s) de ancho de banda de memoria por GPU y escalabilidad con NVLink y NVSwitch, para abordar el análisis de datos con alto rendimiento y escala para admitir conjuntos de datos masivos. Junto con NVIDIA Quantum-2 InfiniBand, el software Magnum IO, Spark 3.0 acelerado por GPU y NVIDIA RAPIDS^™, la plataforma de centro de datos NVIDIA tiene una capacidad única para acelerar estas enormes cargas de trabajo con niveles de rendimiento y eficiencia sin precedentes.

Utilización preparada para la empresa

Los responsables de TI buscan maximizar el uso (tanto máximo como medio) de los recursos informáticos en el centro de datos. A menudo, emplean reconfiguración dinámica de computación a recursos de tamaño adecuado para cargas de trabajo en uso.

La segunda generación de MIG en H100 maximiza el uso de cada GPU particionando de forma segura hasta siete instancias separadas. Con la compatibilidad con computación confidencial, H100 permite un uso seguro de extremo a extremo de varios inquilinos, ideal para los entornos de proveedor de servicios en la nube (CSP).

H100 con MIG permite a los administradores de infraestructura estandarizar su infraestructura acelerada por GPU al mismo tiempo que tienen la flexibilidad de aprovisionar recursos de GPU con mayor granularidad para proporcionar de forma segura a los desarrolladores la cantidad adecuada de computación acelerada y optimizar el uso de todos sus recursos de GPU.

Más información sobre MIG

Computación y seguridad confidenciales de NVIDIA

Las soluciones de computación confidencial actuales están basadas en CPU, lo que es demasiado limitado para las cargas de trabajo intensivas en computación como IA y HPC. La computación confidencial de NVIDIA es una característica de seguridad integrada de la arquitectura NVIDIA Hopper que convierte a NVIDIA H100 en el primer acelerador del mundo con capacidades de computación confidencial. Los usuarios pueden proteger la confidencialidad y la integridad de sus datos y aplicaciones en uso al mismo tiempo que acceden a la aceleración sin precedentes de las GPU H100. Crea un entorno de ejecución de confianza basado en hardware (TEE) que protege y aísla toda la carga de trabajo que se ejecuta en una sola GPU H100, varias GPU H100 dentro de un nodo o instancias MIG individuales. Las aplicaciones aceleradas por GPU se pueden ejecutar sin cambios en el TEE y no tienen que estar particionadas. Los usuarios pueden combinar la potencia del software de NVIDIA para IA y HPC con la seguridad de una raíz de confianza de hardware ofrecida por la computación confidencial de NVIDIA.

Más información sobre la computación confidencial de NVIDIA

Acelerador convergente NVIDIA H100 CNX

NVIDIA H100 CNX combina la potencia de NVIDIA H100 con las capacidades avanzadas de red de la tarjeta de interfaz de red inteligente NVIDIA ConnectX^®-7 (SmartNIC) en una única plataforma. Esta convergencia ofrece un rendimiento sin precedentes para cargas de trabajo intensivas de entrada y salida (IO) con tecnología de GPU, como el entrenamiento de IA distribuido en el centro de datos empresarial y el procesamiento 5G en el perímetro.

Más información sobre NVIDIA H100 CNX

Grace Hopper

La GPU Hopper H100 Tensor Core potenciará la arquitectura NVIDIA Grace Hopper CPU+GPU, diseñada específicamente para computación acelerada a escala de terabytes y que proporciona un rendimiento 10 veces mayor en IA y HPC de modelos grandes. La CPU NVIDIA Grace aprovecha la flexibilidad de la arquitectura Arm^® para crear una arquitectura de CPU y servidor diseñada desde cero para la computación acelerada. H100 se combina con Grace con la interconexión ultrarrápida de chip a chip de NVIDIA, que ofrece 900 GB/s de ancho de banda, 7 veces más rápido que PCIe Gen5. Este innovador diseño ofrecerá hasta 30 veces más ancho de banda agregado en comparación con los servidores más rápidos de hoy en día y un rendimiento hasta 10 veces superior para aplicaciones que ejecutan terabytes de datos.

Más información sobre Grace

Especificaciones

Formato	H100 SXM	H100 PCIe
FP64	30 teraFLOPS	24 teraFLOPS
Tensor Core de FP64	60 teraFLOPS	48 teraFLOPS
FP32	60 teraFLOPS	48 teraFLOPS
Tensor Core de TF32	1000 teraFLOPS* \| 500 teraFLOPS	800 teraFLOPS* \| 400 teraFLOPS
Tensor Core de BFLOAT16	2000 teraFLOPS* \| 1000 teraFLOPS	1600 teraFLOPS* \| 800 teraFLOPS*
Tensor Core de FP16	2000 teraFLOPS* \| 1000 teraFLOPS	1600 teraFLOPS* \| 800 teraFLOPS*
Tensor Core de FP8	4000 teraFLOPS* \| 2000 teraFLOPS	3200 teraFLOPS* \| 1600 teraFLOPS
Tensor Core de INT8	4000 TOPS* \| 2000 TOPS	3200 TOPS* \| 1600 TOPS
Memoria de la GPU	80 GB	80 GB
Ancho de banda de memoria de la GPU	3 TB/s	2 TB/s
Decodificadores	7 NVDEC 7 JPEG	7 NVDEC 7 JPEG
Potencia máxima de diseño térmico (TDP)	700 W	350 W
GPU de varias instancias	Hasta 7 MIG a 10 GB cada uno
Formato	SXM	PCIe
Interconexión	NVLink: 900 GB/s PCIe Gen5: 128 GB/s	NVLINK: 600 GB/s PCIe Gen5: 128 GB/s
Opciones del servidor	Sistemas partners de NVIDIA HGX^™ H100 y NVIDIA-Certified Systems^™ con 4 u 8 GPU NVIDIA DGX^™ H100 con 8 GPU	Sistemas certificados por NVIDIA y partners con entre 1 y 8 GPU

* Con dispersión

Preliminary specifications, may be subject to change

Sumérgete en la arquitectura NVIDIA Hopper