NVIDIA Magnum IO

Подсистема ввода-вывода для современного дата-центра с ускорением на GPU

Оптимизация скорости ввода-вывода для сетей и СХД в дата-центре

Дата-центр — это новая платформа вычислений, и в ее основе лежат графические процессоры и сетевые решения NVIDIA. Ускоренные вычисления требуют ускорения ввода-вывода для максимальной производительности. Подсистема ввода-вывода в современном дата-центре NVIDIA Magnum IO™ — это архитектура параллельного, асинхронного и интеллектуального ввода-вывода в дата-центре, оптимизирующая передачу данных в сетях и СХД для ускорения систем с несколькими GPU и узлами.

Ключевые преимущества Magnum IO

Оптимизация скорости ввода-вывода

Обеспечивает прямой обмен данными между памятью GPU, сетью и СХД в обход CPU, повышая пропускную способность в 10 раз.

Распределение нагрузки и утилизация системы

Уменьшает состязание за ресурсы процессора, распределяет нагрузку системы с ускорением на GPU и обеспечивает максимальную пропускную способность, задействуя до 10 раз меньше ядер CPU и до 30 раз снижая его утилизацию.

Плавная интеграция

Обеспечивает оптимизированную интеграцию настоящих и будущих платформ, независимо от их требований к задержке, скорости и/или пропускной способности.

Стек оптимизации хранения и передачи данных Magnum IO

Magnum IO использует решения для хранения, сетей, внутрисетевых вычислений и управления вводом-выводом для упрощения и ускорения доступа, передачи, и управления данными в системах с несколькими GPU и узлами. Magnum IO поддерживает библиотеки NVIDIA CUDA-X™ и максимально эффективно использует графические процессоры и сетевую аппаратную топологию NVIDIA, достигая оптимальной пропускной способности и задержки.

 [Developer Blog] Magnum IO - Accelerating IO in the Modern Data Center

Magnum IO Optimization Stack

Хранение

В системах с несколькими узлами и GPU медленный процессор и однопоточная производительность затрудняют доступ к данным из локальных или удаленных устройств хранения. Благодаря ускорению ввода-вывода GPU не задействует системную память и процессор и получает доступ к удаленному хранилищу с помощью в 8 раз более быстрых сетевых адаптеров, обеспечивающих пропускную способность до 1,6 Тбит/с.

Технологии:

Сети

Архитектура NVIDIA NVLink® и RDMA для ускорения передачи данных в сети снижают нагрузку на систему ввода-вывода, не задействуя процессор и обеспечивая прямую передачу данных между CPU и GPU.

Технологии:

Внутрисетевые вычисления

Внутрисетевые вычисления обеспечивают обработку данных в сети, устраняя задержки при переходе к конечным точкам и на других этапах. Блоки обработки данных (DPU) обеспечивают программно-определяемые вычисления с аппаратным ускорением, включая предварительно настроенные и программируемые движки обработки данных.

Технологии:

Управление

Чтобы обеспечить оптимизации ввода-вывода для вычислений, сетей и СХД, пользователям необходима продвинутая телеметрия и технологии устранения неполадок. Платформы для управления Magnum IO позволяют администраторам научных и промышленных дата-центров эффективно управлять и обслуживать современные инфраструктуры.

Технологии:

Ускорение ввода-вывода в приложениях

Magnum IO взаимодействует с библиотеками CUDA-X для высокопроизводительных вычислений (HPC) и искусственного интеллекта (ИИ) и ускоряет ввод-вывод широкого ряда задач: от ИИ до научной визуализации.

  • Анализ данных
  • Высокопроизводительные вычисления
  • Глубокое обучение
Data Analytics

Анализ данных

Сегодня data science и машинное обучение (ML) — это самые требовательные к вычислениям области. Даже небольшие улучшения точности моделей машинного обучения для прогнозирования могут в итоге сэкономить миллиарды долларов. Чтобы повысить точность, библиотека RAPIDS Accelerator оснащена встроенным ускорением Apache Spark на базе UCX, который можно настроить на коммуникацию между GPU и прямой доступ к памяти RDMA. Оснащенная сетевыми решениями NVIDIA, ПО Magnum IO, GPU-ускоренным Spark 3.0 и NVIDIA RAPIDS™ платформа NVIDIA для дата-центров призвана ускорить эти ресурсоемкие задачи, обеспечивая непревзойденную производительность и энергоэффективность.

 Adobe в 7 раз ускоряет тренировку моделей при помощи Spark 3.0 на базе Databricks и снижает затраты до 90%

 Производительность в TPCx-BB выше в 19,5 раз с ПО UCX и RAPIDS на NVIDIA DGX™ A100

High Performance Computing

Высокопроизводительные вычисления

HPC is a fundamental pillar of modern science. To unlock next-generation discoveries, scientists rely on simulation to better understand complex molecules for drug discovery, physics for potential new sources of energy, and atmospheric data to better predict and prepare for extreme weather patterns. Magnum IO exposes hardware-level acceleration engines and smart offloads, such as RDMA, NVIDIA GPUDirect®, and NVIDIA Scalable Hierarchical Aggregation and Reduction Protocol (SHARP)™ capabilities, while bolstering the high bandwidth and ultra-low latency of HDR 200Gb/s InfiniBand. This delivers the highest performance and most efficient HPC and ML deployments at any scale.

Largest Interactive Volume Visualization - 150TB NASA Mars Lander Simulation

Deep Learning

Глубокое обучение

Модели ИИ становятся все более сложными, так как разрабатываются для таких задач, как разговорный ИИ и рекомендательные системы на базе алгоритмов глубокого обучения. Для обучения таких моделей разговорного ИИ, как NVIDIA Megatron-BERT, требуется более чем в 3000 раз больше вычислительной мощности, чем для моделей классификации изображений, например ResNet-50. Чтобы ученые могли и дальше расширять границы возможного с помощью ИИ, им необходима высокая мощность и масштабируемость. Комбинация коммутаторов HDR 200Gb/s InfiniBand и программного стека Magnum IO обеспечивает достаточную масштабируемость для тысяч графических процессоров в одном кластере. 

Тренировка алгоритмов глубокого обучения в дата-центрах Facebook: проектирование масштабируемых систем

Подпишитесь на новостную рассылку.