NVLink Fabric

Развитие мульти-GPU технологий

Коммутирующая матрица NVLink

БОЛЕЕ БЫСТРЫЙ И МАСШТАБИРУЕМЫЙ ИНТЕРКОННЕКТ

Системы, оснащенные несколькими GPU и CPU, становятся все более распространенными в разных отраслях, поскольку разработчики все больше внедряют параллелизм в приложения, например, для искусственного интеллекта. Для решения больших и сложных задач применяются системные конфигурации на основе 4 и 8 GPU, которые соединены между собой интерфейсом PCIe. Но пропускная способность PCIe все чаще становится слабым местом мульти-GPU систем, что обуславливает необходимость в более быстрой и масштабируемой технологии внутреннего соединения.

Maximizing System Throughput

МАКСИМИЗАЦИЯ ПРОИЗВОДИТЕЛЬНОСТИ СИСТЕМЫ

Технология NVIDIA® NVLink™ устраняет эту проблему, обеспечивая более высокую пропускную способность, большее число соединений и повышенную масштабируемость для конфигураций с несколькими GPU или GPU в комбинации с CPU. Один GPU NVIDIA Tesla® V100 поддерживает до шести соединений с общей пропускной способностью 300 ГБ/с, что в 10 раз превосходит показатели PCIe 3-его поколения. Такие серверы, как NVIDIA DGX-1™, используют эту технологию для повышения масштабируемости и быстрой тренировки моделей глубокого обучения.

НОВЫЙ УРОВЕНЬ УСКОРЕНИЯ ПЕРЕДАЧИ ДАННЫХ МЕЖДУ GPU

Впервые технология NVLink была представлена в ускорителе Tesla V100 на архитектуре NVIDIA Pascal™. Она увеличила скорость передачи данных с 20 до 25 ГБ/с в каждом направлении. Эта технология может быть использована для коммуникации как между GPU и CPU, так и между GPU, как, например, в DGX-1 на основе Tesla V100.

Tesla V100 с NVLink для коммуникации как между GPU, так и между GPU и CPU

Tesla V100 с NVLink для коммуникации как между GPU, так и между GPU и CPU

NVLink соединяет восемь ускорителей Tesla V100

NVLink соединяет восемь ускорителей Tesla V100 в топологию гибридной сетки куба (Hybrid Cube Mesh Topology ), как в сервере DGX-1V

НОВЫЙ УРОВЕНЬ ПРОИЗВОДИТЕЛЬНОСТИ

НОВЫЙ УРОВЕНЬ ПРОИЗВОДИТЕЛЬНОСТИ

NVIDIA NVLink может обеспечить прирост производительности до 31% по сравнению с сервером с идентичной конфигурацией с другим типом внутреннего соединения. Значительно более высокая пропускная способность и пониженная латентность позволяют увеличить нагрузки и масштабировать производительность по мере их роста.

NVSWITCH: ПОЛНОЕ ПОДКЛЮЧЕНИЕ NVLINK

Быстрый рост объема нагрузок, связанных с задачами глубокого обучения, обуславливает необходимость в более быстрой и масштабируемой технологии внутреннего соединения, так как пропускная способность PCIe все чаще становится слабым местом мульти-GPU систем.

Технология NVLink позволила объединить в одном сервере восемь GPU, обеспечив более высокую скорость передачи данных, чем PCIe. Однако новый уровень производительности для глубокого обучения требует новой технологии интерконнекта, способной объединить в одном сервере большее число GPU и обеспечить их полноценное подключение.

NVIDIA NVSwitch – это первая архитектура, поддерживающая до 16 GPU в серверном узле и обеспечивающая коммуникацию между всеми восемью парами GPU со скоростью 300 ГБ/с каждая. Все 16 соединенных между собой GPU можно использовать как один масштабный ускоритель с унифицированной памятью объемом 0,5 терабайта и вычислительной производительностью 2 петафлопса.

NVSwitch Technical Overview
Технический обзор технологии NVLink
NVSwitch Chart Speedup

* IFS от ECMWF: Integrated Forecasting System (IFS) – это глобальная модель численного прогнозирования погоды, разработанная Европейским центром среднесрочных прогнозов погоды (ECMWF), который базируется в Рединге, Великобритания. ECMWF является независимой межправительственной организацией, поддерживаемой большинством европейских стран. Для обновления прогнозов она использует один из крупнейших супервычислительных центров в Европе. В тестовом мини-приложении IFS основное внимание уделяется трансформации сферических гармоник, которая представляет собой серьезную нагрузку на всю модель вычислений. Показатели ускорения в тесте выше, чем для полной модели IFS, так как тест усиливает стадии трансформации алгоритма. Тем не менее, тест доказывает, что эффективные и проверенные методы прогнозирования ECMWF не теряют силы на серверах с технологией NVSwitch, например, на NVIDIA DGX-2, и такие серверы идеально подходят для выполнения подобных задач.

* Модель смешения мнений экспертов (MoE): На основе нейронной сети опубликованной Google в репозитории Tensor2Tensor на GitHub, с использованием модели Transformer и MoE. Каждый слой модели MoE состоит из 128 экспертов, каждый из которых является нейронной сетью прямого распространения меньшего размера. Каждый эксперт специализируется на различных областях знаний, и все они распределены по разным GPU, что создает большой поток данных вследствие коммуникации между слоями Transformer и MoE. Согласно Google, тренировочным массивом данных стал тест на моделирование языка, состоящий из 1 миллиарда слов. В тренировке задействованы ядра Tensor, и, чтобы добиться перплексивности, равной 34, требуется 45000 шагов. Размер выборки для данной нагрузки равен 8192 на GPU.

Продукты
Технологии
Материалы