NVIDIA Magnum IO

O Subsistema de I/O para o Data Center Moderno e Acelerado por GPU

Maximizando o Armazenamento do Data Center e o Desempenho de I/O da Rede

O data center é a nova unidade de computação, e as GPUs e redes NVIDIA são a base desse ambiente. A computação acelerada precisa de operações aceleradas de entrada/saída (I/O) para maximizar o desempenho. O NVIDIA® Magnum IO, o subsistema de I/O do data center moderno, é a arquitetura para operações paralelas, assíncronas e inteligentes de I/O para o data center, maximizando o desempenho do armazenamento e das operações de I/O da rede para acelerar vários nós e várias GPUs.

Principais Vantagens do Magnum IO

Desempenho Otimizado das Operações de I/O

Ele dispensa a CPU para possibilitar operações diretas de I/O entre a memória da GPU, a rede e o armazenamento, garantindo uma largura de banda dez vezes maior.

Equilíbrio e Uso do Sistema

Ele alivia a contenção da CPU e cria um sistema acelerado por GPU mais equilibrado que oferece uma largura de banda de I/O de pico, com até dez vezes menos núcleos de CPU e uso 30 vezes menor da CPU.

Integração Perfeita

Ele oferece uma implementação otimizada para as plataformas atuais e futuras, sejam as transferências de dados menos granulares e dependentes da latência, mais granulares e dependentes da largura de banda ou coletivas.

Pacote de Otimização do Magnum IO

O Magnum IO usa I/O de armazenamento, I/O de rede, computação em rede e gerenciamento de I/O para simplificar e acelerar a movimentação, o acesso e a gestão de dados de sistemas com várias GPUs e vários nós. O Magnum IO é compatível com bibliotecas NVIDIA CUDA-X™ e usa uma série de topologias de hardware de GPUs NVIDIA e redes NVIDIA da melhor maneira possível para garantir uma taxa de transferência excelente e baixa latência.

 [Blog do Desenvolvedor] Magnum IO - Acelerando IO no Data Center Moderno

Pacote de Otimização do Magnum IO

I/O de Armazenamento

Em sistemas com vários nós e várias GPUs, o baixo desempenho de apenas um thread da CPU dificulta o acesso a dados de dispositivos de armazenamento locais ou remotos. Com a aceleração de I/O de armazenamento, a GPU dispensa a CPU e a memória do sistema, acessando o armazenamento remoto com oito placas de rede de 200 GB/s e chegando a até 1,6 terabits/s de largura de banda bruta de armazenamento.

Tecnologias Inclusas:

I/O de Rede

A aceleração das operações de I/O da rede baseada no RDMA diminui a sobrecarga das operações de I/O, dispensando a CPU e possibilitando transferências de dados entre GPUs a velocidades de linha da rede e do fabric.

Tecnologias Inclusas:

Computação em Rede

A computação em rede oferece o processamento na rede, acabando com a latência gerada pela passagem para os endpoints e todos os hops no caminho. As Unidades de Processamento de Dados (DPUs) oferecem uma computação de rede acelerada por hardware e definida por software, como mecanismos pré-configurados de processamento de dados e mecanismos programáveis.

Tecnologias Inclusas:

Gerenciamento de I/O

Para oferecer otimizações de I/O na computação, na rede e no armazenamento, os usuários precisam de técnicas de telemetria avançada e solução de problemas aprofundada. As plataformas de gerenciamento do Magnum IO oferecem aos operadores de data centers industriais e de pesquisa a possibilidade de provisionar, monitorar, gerenciar e realizar a manutenção preventiva do fabric do data center moderno.

Tecnologias Inclusas:

Acelerando as Operações de I/O entre Softwares

O Magnum IO se conecta às bibliotecas de computação de alto desempenho (HPC) e inteligência artificial (AI) do NVIDIA CUDA-X para acelerar as operações de I/O em diversos casos de uso, da AI à visualização científica.

  • Análise de Dados
  • Computação de Alto Desempenho
  • Deep Learning
Análise de Dados

Análise de Dados

Atualmente, a ciência de dados e o machine learning (ML) são os maiores segmentos de computação do mundo. Pequenas melhorias na precisão dos modelos preditivos de ML podem gerar bilhões de dólares no resultado. Para aumentar a precisão, a biblioteca do RAPIDS Accelerator tem um embaralhamento acelerado do Apache Spark integrado baseado no UCX e pode ser configurado para usar a comunicação entre GPUs e os recursos do RDMA. Com a NVIDIA Mellanox® InfiniBand, o software Magnum IO, o Spark 3.0 acelerado por GPU e o NVIDIA RAPIDS, a plataforma de data center da NVIDIA é ideal para acelerar essas cargas de trabalho enormes, garantindo níveis inéditos de desempenho e eficiência.

 Adobe Realiza Treinamento de Modelos Sete Vez Mais Rápido com o Spark 3.0 no Databricks e Diminui 90% dos Custos

 Com Desempenho 19,5 Vezes Mais Rápido no TPCx-BB, Softwares de Ciência de Dados UCX e RAPIDS Aceleram com NVIDIA DGX A100

Computação de Alto Desempenho

Computação de Alto Desempenho

A HPC é uma peça fundamental na ciência moderna. Os cientistas contam com a simulação para garantir novas conquistas, como o conhecimento aprofundado de moléculas complexas para a descoberta de medicamentos, da física de possíveis novas fontes de energia e dos dados da atmosfera para a melhor preparação e previsão de padrões de condições meteorológicas extremas. O Magnum IO expõe mecanismos de aceleração de hardware e transferências de carga inteligentes, como os recursos RDMA, NVIDIA GPUDirect® e SHARP, aprimorando a largura de banda alta e a latência ultrabaixa da InfiniBand HDR de 200 GB/s. Assim, ele proporciona o mais alto desempenho e as implementações mais eficientes de HPC e ML em qualquer escala.

Maior Visualização Volumétrica Interativa: Simulação de 150 TB de Sonda de Marte da NASA

Deep Learning

Deep Learning

Os modelos de AI estão ficando cada vez mais complexos com os desafios da próxima geração, como AI conversacional e sistemas de recomendação baseados em deep learning. Os modelos de AI conversacional como o Megatron-BERT da NVIDIA precisam de um nível de computação três mil vezes maior para serem treinados em comparação com os modelos de classificação de imagens, como o ResNet-50. É preciso ter um desempenho avançado e uma escalabilidade grande para garantir que os pesquisadores continuem se dedicando para descobrir o que é possível fazer com a AI. O uso da rede InfiniBand HDR de 200GB/s com o pacote de softwares Magnum IO oferece uma escalabilidade eficiente para milhares de clusters de GPU.

Treinamento de Deep Learning em Data Centers do Facebook: Design de Sistemas de Escalabilidade Vertical e Escalabilidade Horizontal

Inscreva-se para receber notícias e atualizações.