This site requires Javascript in order to view all its content. Please enable Javascript in order to access all the functionality of this web site. Here are the instructions how to enable JavaScript in your web browser.

GPU NVIDIA H100 Tensor Core

Desempenho, escalabilidade e segurança sem precedentes para todos os data centers.

Leia o White Paper

Um Salto de Ordem de Magnitude para a Computação Acelerada

Aproveite desempenho, escalabilidade e segurança sem precedentes para cada carga de trabalho com a GPU NVIDIA H100 Tensor Core. Com o Sistema de Switches NVIDIA^® NVLink^®, até 256 H100s podem ser conectados para acelerar cargas de trabalho exascala, enquanto o Transformer Engine dedicado suporta modelos de linguagem de trilhões de parâmetros. O H100 usa inovações na arquitetura NVIDIA Hopper^™ para fornecer AI conversacional líder do setor, acelerando modelos grandes de linguagem em incríveis 30 vezes em relação à geração anterior.

Leia o datasheet da NVIDIA H100

Acelere com Segurança as Cargas de Trabalho de Enterprise para Exaescala

Treinamento de AI até 9 Vezes Maior nos Modelos Maiores

Mistura de Especialistas (395 bilhões de parâmetros)

Desempenho projetado sujeito a alterações. Mistura de treinamento de especialistas (MoE) Transformer Switch-XXL variante com parâmetros 395B no conjunto de dados de token 1T | Cluster A100: rede HDR IB | Cluster H100: sistema de comutação NVLINK, NDR IB

Treinamento Transformador de AI

As GPUs NVIDIA H100 contam com Tensor Cores de quarta geração e o Transformer Engine com precisão FP8, que oferece treinamento até 9 vezes mais rápido em relação à geração anterior para modelos de Mistura de Especialistas (MoE). A combinação de NVlink de quarta geração, que oferece 900 gigabytes por segundo (GB/s) de interconexão entre placas de vídeo; NVSwitch, que acelera a comunicação coletiva por todas as GPUs em nós; PCIe de 5ª geração e software NVIDIA Magnum IO^™ oferece escalabilidade eficiente, de pequenas empresas a clusters de GPUs enormes e unificados.

A implantação de GPUs H100 em escala de data center oferece desempenho sem precedentes e coloca a próxima geração de computação de alto desempenho (HPC - High-Performance Computing) de exoescala e AI de trilhões de parâmetros ao alcance de todos os pesquisadores.

Inferência de Deep Learning em Real Time

A AI soluciona uma ampla variedade de desafios de negócios usando uma ampla gama de redes neurais. Um excelente acelerador de inferência de AI tem que oferecer não apenas o mais alto desempenho, mas também versatilidade para acelerar essas redes.

A H100 amplia ainda mais a sua liderança com a inferência líder de mercado da NVIDIA, com vários avanços que aceleram a inferência em até 30 vezes e proporcionam a menor latência. Os Tensor Cores de 4ª geração aceleram todas as precisões, incluindo FP64, TF32, FP32, FP16 e INT8, e o Transformer Engine utiliza FP8 e FP16 juntos para reduzir o uso de memória e aumentar o desempenho, mantendo a precisão de modelos de linguagem grandes.

Desempenho de Inferência de AI até 30 Vezes Maior em Modelos Maiores

Chatbot Megatron (530 bilhões de parâmetros)

Inferência de Deep Learning em Real Time

O desempenho projetado está sujeito a mudanças. Inferência no modelo chatbot do parâmetro Megatron 530B para comprimento de sequência de entrada=128, comprimento de sequência de saída=20 | A100 cluster: Rede HDR IB | Cluster H100: Rede NDR IB para 16 configurações H100 | 32 A100 vs 16 H100 por 1 e 1,5 seg | 16 A100 vs 8 H100 por 2 seg

Desempenho Até 7 Vezes Maior para Aplicações de HPC

Computação de Alto Desempenho a Exascala

A plataforma de data center da NVIDIA oferece consistentemente ganhos de desempenho além da Lei de Moore. E os novos recursos inovadores de AI da H100 ampliam ainda mais o poder da HPC e da AI para acelerar o tempo de descoberta para cientistas e pesquisadores que trabalham na solução dos desafios mais importantes do mundo.

O H100 triplica as operações de ponto flutuante por segundo (FLOPS) de Núcleos Tensor de precisão dupla, fornecendo 60 teraFLOPS de computação FP64 para HPC. As aplicações HPC fundidos com AI podem aproveitar a precisão TF32 da H100 para atingir um petaFLOP de taxa de transferência para operações de precisão simples e multiplicação de matriz, com zero alterações de código.

A H100 também apresenta instruções DPX que oferecem desempenho 7 vezes maior em GPUs NVIDIA A100 Tensor Core e acelerações de 40 vezes em servidores tradicionais somente com CPU de soquete duplo em algoritmos de programação dinâmica, como Smith-Waterman para alinhamento de sequência de DNA.

Análise de Dados

Em geral, a análise de dados consome a maior parte do tempo do desenvolvimento de aplicações AI. Como grandes conjuntos de dados estão distribuídos por vários servidores, as soluções de escalabilidade horizontal com servidores de commodity apenas com CPU são descartadas pela falta de desempenho de computação escalonável.

Servidores acelerados com H100 oferecem potência computacional para lidar com análise de dados com alto desempenho e escala para oferecer suporte a grandes conjuntos de dados, juntamente com 3 terabytes por segundo (TB/s) de largura de banda de memória por GPU e escalabilidade com NVLink e NVSwitch. Com o NVIDIA Quantum-2 Infiniband, o software Magnum IO, o Spark 3.0 acelerado por placa de vídeo e o NVIDIA RAPIDS^™, a plataforma de data center da NVIDIA é capaz de acelerar essas enormes cargas de trabalho com níveis sem precedentes de desempenho e eficiência.

Utilização Pronta para Empresas

Os gerentes de TI buscam maximizar a utilização (pico e média) de recursos de computação no data center. Eles geralmente utilizam reconfiguração dinâmica da computação para recursos do tamanho certo para as cargas de trabalho em uso.

A MIG de segunda geração no H100 maximiza a utilização de cada GPU particionando-a com segurança em até sete instâncias separadas. Com suporte de Computação Confidencial, a H100 permite o uso seguro de ponta a ponta multilocatário, ideal para ambientes de provedor de serviço em cloud (CSP).

A H100 com MIG permite que os gerentes de infraestrutura padronizem sua infraestrutura acelerada por GPU, ao mesmo tempo que têm a flexibilidade de provisionar recursos de GPU com maior granularidade para oferecer aos desenvolvedores com segurança a quantidade certa de computação acelerada e otimizar o uso de todos os seus recursos de GPU.

Saiba Mais sobre a MIG

Computação e Segurança Confidenciais da NVIDIA

As soluções de computação confidenciais de hoje são baseadas em CPU, o que é muito limitado para cargas de trabalho com uso intensivo de computação, como AI e HPC. A Computação Confidencial da NVIDIA é um recurso integrado de segurança da arquitetura NVIDIA Hopper que faz da NVIDIA H100 o primeiro acelerador do mundo com recursos de computação confidenciais. Os usuários podem proteger a confidencialidade e integridade de seus dados e modelos de AI durante o uso enquanto aproveitam a aceleração inédita das GPUs H100 para cargas de trabalho de AI. Ela cria um ambiente de execução confiável (TEE) baseado em hardware que protege e isola toda a carga de trabalho em execução em uma única GPU H100, várias GPUs H100 em um nó ou em instâncias individuais da MIG. Os aplicativos acelerados por GPU podem ser executados inalterados no TEE e não precisam ser particionados. Os usuários podem combinar a potência do software NVIDIA para AI e HPC com a segurança de uma raiz de confiança de hardware oferecida pela Computação Confidencial da NVIDIA.

Saiba Mais Sobre a Computação Confidencial da NVIDIA

Soluções de Computação Confidencial da NVIDIA

Acelerador Convergente NVIDIA H100 CNX

O NVIDIA H100 CNX combina a potência da NVIDIA H100 com os recursos avançados de rede da placa de interface de rede inteligente NVIDIA ConnectX-7^® (SmartNIC) em uma única plataforma única. Essa convergência oferece um desempenho sem precedentes para cargas de trabalho intensa de entrada/saída (I/O) com GPU, como treinamento distribuído de AI no data center empresarial e processamento 5G no edge.

Saiba mais sobre o NVIDIA H100 CNX

Grace Hopper

A GPU Hopper H100 Tensor Core potencializará a arquitetura Grace Hopper de CPU+GPU NVIDIA, desenvolvida especificamente para computação acelerada em terabytes e oferecendo um desempenho dez vezes maior em AI de modelos grandes e HPC. A CPU NVIDIA Grace aproveita a flexibilidade da arquitetura Arm^® para criar uma arquitetura de CPU e servidor projetada do zero para computação acelerada. A H100 é combinada com a Grace com a interconexão ultrarrápida entre chips da NVIDIA, oferecendo 900 GB/s de largura de banda, 7 vezes mais rápida do que a PCIe da 5ª geração. Esse design inovador oferecerá uma largura de banda agregada até 30 vezes maior em comparação com os servidores mais rápidos do momento e um desempenho até 10 vezes superiores para aplicativos que executam terabytes de dados.

Saiba Mais sobre Grace

Especificações do Produto

Formato	H100 SXM	H100 PCIe
FP64	30 teraFLOPS	24 teraFLOPS
FP64 Tensor Core	60 teraFLOPS	48 teraFLOPS
FP32	60 teraFLOPS	48 teraFLOPS
TF32 Tensor Core	1.000 teraFLOPS*	800 teraFLOPS*
BFLOAT16 Tensor Core	2.000 teraFLOPS*	1.600 teraFLOPS*
FP16 Tensor Core	2.000 teraFLOPS*	1.600 teraFLOPS*
FP8 Tensor Core	4.000 teraFLOPS*	3.000 teraFLOPS*
INT8 Tensor Core	4.000 TOPS*	3.200 TOPS*
Memória de GPU	80 GB	80 GB
Largura de banda da memória de GPU	3Tb/s	2Tb/s
Decodificadores	7 NVDEC 7 JPEG	7 NVDEC 7 JPEG
Potência máxima do design térmico (TDP - Thermal Design Power)	700 W	350 W
GPUs Multi-Instâncias	Até 7 MIGS a 10 GB cada
Formato	SXM	PCIe Refrigerado a ar com dupla abertura
Interconexão	NVLink: PCIe de 900 GB/s de 5ª geração: 128 GB/s	NVLINK: PCIe de 600 GB/s de 5ª geração: 128 GB/s
Opções de servidor	Parceiro NVIDIA HGX^™ H100 e Sistemas Certificados NVIDIA^™ com 4 ou 8 GPUs NVIDIA DGX^™ H100 com 8 GPUs	Parceiros e Sistemas Certificados pela NVIDIA com 1 a 8 GPUs

* Exibido com parcimônia. As especificações são meio inferiores sem esparsidade.

Especificações preliminares. Podem estar sujeitas a alterações.

Aprofunde-se na Arquitetura NVIDIA Hopper