GPU NVIDIA H100 Tensor Core
Desempenho, escalabilidade e segurança extraordinários para todos os data centers.
Um Salto Gigantesco para a Computação Acelerada
A GPU NVIDIA H100 Tensor Core oferece desempenho, escalabilidade e segurança excepcionais para todas as cargas de trabalho. A H100 usa inovações revolucionárias baseadas na arquitetura NVIDIA Hopper™ para oferecer IA conversacional líder do setor, acelerando grandes modelos de linguagem (LLMs) em 30 vezes. A H100 também inclui um Transformer Engine dedicado para resolver modelos de linguagem de trilhões de parâmetros.
Acelere com Segurança as Cargas de Trabalho de Nível Empresarial Até a Exaescala
Treinamento de IA até 4 Vezes Maior no GPT-3
Desempenho projetado sujeito a alterações. Cluster A100 de treinamento GPT-3 175B: rede HDR IB, cluster H100: rede NDR IB | Mistura de especialistas (MoE) Training Transformer Variante Switch-XXL com 395B de parâmetros em conjunto de dados de token 1T, cluster A100: rede HDR IB, cluster H100: rede NDR IB com sistema de switches NVLink onde indicado.
Treinamento Transformador de IA
O H100 apresenta Núcleos Tensor de quarta geração e um Transformer Engine com precisão FP8 que fornece treinamento até 4 vezes mais rápido em relação à geração anterior para modelos GPT-3 (175B). A combinação de NVlink de quarta geração, que oferece 900 gigabytes por segundo (GB/s) de interconexão entre GPUs; rede NDR Quantum-2 InfiniBand, que acelera a comunicação por todas as GPUs em nós; PCIe Gen5; e software NVIDIA Magnum IO™ oferece escalabilidade eficiente, desde pequenos sistemas empresariais a clusters de GPUs enormes e unificados.
A implantação de GPUs H100 em escala de data center oferece desempenho incrível e coloca a próxima geração de computação de alto desempenho (HPC) de exaescala e IA de trilhões de parâmetros ao alcance de todos os pesquisadores.
Inferência de Deep Learning em Tempo Real
A IA soluciona uma ampla variedade de desafios de negócios usando uma gama de redes neurais igualmente ampla. Um excelente acelerador de inferência de IA tem que oferecer não apenas o mais alto desempenho, mas também versatilidade para acelerar essas redes.
A H100 amplia a liderança da NVIDIA com a melhor inferência do mercado, com vários avanços que aceleram a inferência em até 30 vezes e proporcionam a menor latência. Os Núcleos Tensor de quarta geração aceleram todas as precisões, incluindo FP64, TF32, FP32, FP16, INT8 e agora FP8, para reduzir o uso de memória e aumentar o desempenho, mantendo a precisão para LLMs.
Desempenho de Inferência de IA Até 30 Vezes Maior nos Modelos Maiores.
Inferência de chatbot Megatron (530 bilhões de parâmetros)
Desempenho projetado sujeito a alterações. Inferência no chatbot baseado em modelo de parâmetros Megatron 530B para comprimento de sequência de entrada = 128, comprimento de sequência de saída = 20 | Cluster A100: rede HDR IB | Cluster H100: sistema de switches NVLink, NDR IB
Desempenho até 7 Vezes Maior para Aplicações de HPC
Desempenho projetado sujeito a alterações. Taxa de transferência 3D FFT (4K^3) | Cluster A100: rede HDR IB | Cluster H100: sistema de switches NVLink, NDR IB | Sequenciamento de genomas (Smith-Waterman) | 1 A100 | 1 H100
Computação de Alto Desempenho em Exaescala
A plataforma de data center da NVIDIA oferece ganhos de desempenho consistentemente superiores à Lei de Moore. Além disso, os novos recursos revolucionários de IA da H100 amplificam ainda mais o poder da combinação HPC+IA para acelerar o tempo de descoberta para cientistas e pesquisadores que trabalham para solucionar os desafios mais importantes do mundo.
A H100 triplica as operações de ponto flutuante por segundo (FLOPS) dos Núcleos Tensor de precisão dupla, oferecendo 60 teraflops de computação FP64 para HPC. As aplicações de HPC com IA integrada também podem aproveitar a precisão TF32 da H100 para obter um petaflop de taxa de transferência para operações de multiplicação de matrizes de precisão simples, sem alterações de código.
A H100 também apresenta novas instruções DPX que oferecem desempenho sete vezes maior em relação à A100 e acelerações 40 vezes superiores em CPUs em algoritmos de programação dinâmica, como Smith-Waterman para alinhamento de sequências de DNA e alinhamento de proteínas para previsão da estrutura proteica.
Comparação de instruções de DPX entre a NVIDIA HGX™ H100 de 4 GPUs versus o IceLake de 32 núcleos e dois soquetes.
Análise de Dados Acelerada
Em geral, a análise de dados consome a maior parte do tempo do desenvolvimento de aplicações com IA. Como grandes conjuntos de dados estão distribuídos por vários servidores, as soluções de escalabilidade horizontal com servidores convencionais apenas com CPU são descartadas pela falta de desempenho de computação escalonável.
Servidores acelerados com H100 oferecem potência computacional para lidar com análise de dados com alto desempenho e escala para oferecer suporte a conjuntos de dados de grande escala, juntamente com 3 terabytes por segundo (TB/s) de largura de banda de memória por GPU e escalabilidade com NVLink e NVSwitch™. Com o NVIDIA Quantum-2 InfiniBand, o software Magnum IO, o Spark 3.0 acelerado por GPU e o NVIDIA RAPIDS™, a plataforma de data center da NVIDIA é capaz de acelerar essas enormes cargas de trabalho com maior desempenho e eficiência.
Utilização Pronta para Empresas
Os gerentes de IT buscam maximizar a utilização (de pico e média) de recursos de computação no data center. Eles geralmente utilizam reconfiguração dinâmica da computação para alcançar o tamanho certo de recursos para as cargas de trabalho em uso.
A H100 com MIG permite que os gerentes de infraestrutura padronizem sua infraestrutura acelerada por GPU, além de ter a flexibilidade de provisionar recursos de GPU com maior granularidade para oferecer aos desenvolvedores com segurança a quantidade certa de computação acelerada e otimizar o uso de todos os seus recursos de GPU.
Computação Confidencial Incorporada
As soluções de Computação Confidencial tradicionais são baseadas em CPU, o que é muito limitado para cargas de trabalho intensivas em computação, como IA em escala. A computação confidencial da NVIDIA é um recurso de segurança integrado da arquitetura NVIDIA Hopper que fez da H100 o primeiro acelerador do mundo com esses recursos. NVIDIA Blackwell oferece a oportunidade de aumentar exponencialmente o desempenho, protegendo, ao mesmo tempo, a confidencialidade e a integridade dos dados e aplicações em uso, e isso tem a capacidade de desbloquear informações de dados como nunca antes. Agora os clientes podem usar um ambiente de execução confiável (TEE) baseado em hardware que protege e isola toda a carga de trabalho da maneira mais eficiente.
Desempenho Excepcional para IA e HPC em Larga Escala
A GPU Hopper Tensor Core potencializará a arquitetura Grace Hopper de CPU+GPU NVIDIA, desenvolvida especificamente para computação acelerada em escala de terabyte e oferecendo um desempenho 10 vezes maior em IA de grandes modelos e HPC. A CPU NVIDIA Grace aproveita a flexibilidade da arquitetura Arm® para criar uma arquitetura de CPU e servidor projetada do zero para computação acelerada. A GPU Hopper é combinada com a CPU Grace usando a interconexão ultrarrápida entre chips da NVIDIA, oferecendo 900GB/s de largura de banda, 7 vezes mais rápida do que o PCIe Gen5. Esse design inovador oferecerá uma largura de banda de memória do sistema agregada até 30 vezes maior para a GPU em comparação com os servidores mais rápidos do momento, e um desempenho até 10 vezes maior para aplicações que executam terabytes de dados.
Potencialize a Inferência de Grandes Modelos de Linguagem com a H100 NVL
Para LLMs de até 70 bilhões de parâmetros (Llama 2 70B), o NVIDIA H100 NVL baseado em PCIe com bridge NVLink utiliza Transformer Engine, NVLink e memória HBM3 de 188GB para fornecer desempenho ideal e fácil escalabilidade em qualquer data center, trazendo os LLMs para o grande público. Os servidores equipados com GPUs H100 NVL aumentam o desempenho do Llama 2 70B em até 5 vezes em relação aos sistemas NVIDIA A100, mantendo a baixa latência em ambientes de data center com restrições de energia.
Pronto para Empresas: Software de IA Simplifica o Desenvolvimento e a Implantação
A NVIDIA H100 NVL vem com uma assinatura de cinco anos do NVIDIA AI Enterprise e simplifica a maneira como você cria uma plataforma pronta para IA corporativa. A H100 acelera o desenvolvimento e a implantação de IA para soluções de IA generativa prontas para a produção, incluindo visão computacional, IA para fala, geração aumentada por recuperação (RAG) e muito mais. O NVIDIA AI Enterprise inclui o NVIDIA NIMTM, um conjunto de microsserviços fáceis de usar projetados para acelerar a implantação de IA generativa em empresas. Juntas, as implantações têm segurança, gerenciabilidade, estabilidade e suporte de nível empresarial. Isso resulta em soluções de IA otimizadas para desempenho que oferecem valor comercial mais rápido e informações práticas.
Especificações do Produto
| H100 SXM | H100 NVL | |
|---|---|---|
| FP64 | 34 teraFLOPS | 30 teraFLOPs |
| FP64 Tensor Core | 67 teraFLOPS | 60 teraFLOPs |
| FP32 | 67 teraFLOPS | 60 teraFLOPs |
| TF32 Tensor Core* | 989 terFLOPS | 835 teraFLOPs |
| BFLOAT16 Tensor Core* | 1.979 teraFLOPS | 1.671 teraFLOPS |
| FP16 Tensor Core* | 1.979 teraFLOPS | 1.671 teraFLOPS |
| FP8 Tensor Core* | 3.958 teraFLOPS | 3.341 teraFLOPS |
| INT8 Tensor Core* | 3.958 TOPS | 3.341 TOPS |
| Memória da GPU | 80GB | 94GB |
| Largura de Banda de Memória de GPU | 3,35TB/s | 3,9TB/s |
| Decodificadores | 7 NVDEC 7 JPEG |
7 NVDEC 7 JPEG |
| Potência Máxima do Design Térmico (TDP) | Até 700W (configurável) | 350 a 400W (configurável) |
| GPUs Multi-Instância | Até 7 MIGS a 10GB cada | Até 7 MIGS a 12GB cada |
| Formato | SXM | PCIe dois slots com resfriamento a ar |
| Interconexão | NVIDIA NVLink™: 900GB/s PCIe Gen5: 128GB/s |
NVIDIA NVLink: 600GB/s PCIe Gen5: 128GB/s |
| Opções de Servidor | Parceiro NVIDIA HGX H100 e Sistemas Certificados NVIDIA™ com 4 ou 8 GPUs NVIDIA DGX H100 com 8 GPUs |
Parceiros e Sistemas Certificados pela NVIDIA com 1 a 8 GPUs |
| NVIDIA AI Enterprise | Complemento | Incluído |
* Com dispersão
Saiba tudo sobre a arquitetura NVIDIA Hopper.