Быстрые и масштабируемые технологии соединения

Повышение требований к вычислительным ресурсам в задачах ИИ и высокопроизводительных вычислений (HPC), в том числе в новом классе моделей с триллионами параметров, обусловливает необходимость в системах с несколькими узлами и несколькими графическими процессорами, при этом все графические процессоры должны быть объединены высокоскоростным каналом связи. Чтобы создать мощную вычислительную платформу, соответствующую скоростям бизнеса, необходима быстрая и масштабируемая коммуникационная технология.

NVIDIA A100 PCIe with NVLink GPU-to-GPU connection
NVIDIA A100 with NVLink GPU-to-GPU connections

Производительность NVLink

Производительность NVLink

Полноскоростное подключение графических процессоров с NVIDIA NVSwitch

Третье поколение NVIDIA NVSwitch использует улучшенные возможности NVLink, чтобы обеспечить более высокую пропускную способность и снижение латентности при ресурсоемких вычислениях. Для обеспечения высокоскоростных совместных операций каждый коммутатор NVSwitch имеет 64 порта NVLink, которые оснащены движком NVIDIA Scalable Hierarchical Aggregation Reduction Protocol (SHARP) для внутрисетевой редукции и многоканального ускорения.

Fully Connect GPUs with NVIDIA NVSwitch
NVLink and NVSwitch Work Together

Работа комбинации NVLink и NVSwitch

NVLink – это прямой канал связи между графическими процессорами, который позволяет масштабировать обмен данными между ними в рамках одного сервера. NVSwitch соединяет несколько NVLink-интерфейсов, чтобы обеспечить полноценную коммуникацию между графическими процессорами на полной скорости NVLink внутри одного узла и между узлами.    

Комбинация NVLink и NVSwitch обеспечила победу NVIDIA в MLPerf, первом отраслевом бенчмарке для ИИ.

Масштабирование для тренировки моделей с триллионами параметров

С помощью NVSwitch соединение NVLink можно расширить на несколько узлов, чтобы создать мультиузловой GPU-кластер с высокой пропускной способностью, который, по сути, будет представлять собой графический процессор величиной с дата-центр. Благодаря добавлению к серверам второго (внешнего) уровня коммутаторов NVSwitch сеть NVLink может связать до 256 графических процессоров и обеспечить невероятную пропускную способность на уровне 57,6 ТБ/с. Это обеспечит быстрое решение даже самых объемных задач ИИ. 

Scale-Up to Train Trillion Parameter Models
NVIDIA NVLink Switch

Коммутатор NVIDIA NVLink

Стоечный коммутатор NVIDIA NVLink оснащен 128 портами NVLink с неблокирующей коммутацией на уровне 3.2 терабайты/с. Стоечный коммутатор создан для обеспечения высокой пропускной способности и низкой задержки на системах NVIDIA DGX и NVIDIA HGX с поддержкой внешнего соединения NVLink четвертого поколения.

Масштабирование до экзафлопсов

Полноценное соединение для непревзойденной производительности

NVSwitch — это первая архитектура, которая поддерживает полноценное подключение 16 GPU в одном серверном узле. NVSwitch третьего поколения соединяет каждую пару графических процессоров на невероятной скорости в 900 ГБ/с. Она поддерживает передачу данных «от всех ко всем» без ограничений. Графические процессоры могут использоваться как единый высокоскоростной ускоритель с вычислительной мощностью до 15 петафлопс в задачах глубокого обучения.

Самая мощная платформа для ИИ и высокопроизводительных вычислений

NVLink и NVSwitch – основная часть комплексного решения NVIDIA для дата-центров, которое содержит программно-аппаратное обеспечение, сети, библиотеки, а также оптимизированные модели и приложения для ИИ из программного пакета NVIDIA AI Enterprise и каталога NVIDIA NGC. Самая производительная комплексная платформа для ИИ и HPC позволяет получать результаты в реальном времени и разворачивать решения, обеспечивая масштабируемое ускорение.

Спецификации

  • NVLink

    NVLink

  • NVSwitch

    NVSwitch

  • NVLink и NVSwitch между серверами

    NVLink и NVSwitch между серверами

  Второе поколение Третье поколение Четвертое поколение
Пропускная способность NVLink на один графический процессор 300 ГБ/с 600 ГБ/с 900 ГБ/с
Максимальное число соединений на GPU 6 12 18
Поддерживаемые архитектуры NVIDIA Архитектура NVIDIA Volta Архитектура NVIDIA Ampere Архитектура NVIDIA Hopper
  Первое поколение Второе поколение Третье поколение
Количество графических процессоров с прямым подключением / узлов До 8 До 8 До 8
Пропускная способность NVSwitch 300 ГБ/с 600 ГБ/с 900 ГБ/с
Общая пропускная способность 2,4 ТБ/с 4,8 ТБ/с 7,2 ТБ/с
Поддерживаемые архитектуры NVIDIA Архитектура NVIDIA Volta Архитектура NVIDIA Ampere Архитектура NVIDIA Hopper
  NVLink и NVSwitch между серверами
Число GPU с прямым подключением До 256
Пропускная способность NVSwitch 900 ГБ/с
Общая пропускная способность 57,6 ТБ/с
Сетевая редукция Поддержка SHARP в NVSwitch
Программная поддержка CUDA®, CUDA-X, Magnum IO
Поддерживаемые архитектуры NVIDIA Архитектура NVIDIA Hopper

Внутри архитектуры NVIDIA Hopper.

Узнайте больше об архитектуре NVIDIA Hopper и ее реализации в графическом процессоре NVIDIA H100 с тензорными ядрами.