Быстрые и масштабируемые технологии соединения

Повышение требований к вычислительным ресурсам в задачах ИИ и высокопроизводительных вычислений (HPC), в том числе в новом классе моделей с триллионами параметров, обусловливает необходимость в системах с несколькими узлами и несколькими графическими процессорами, при этом все графические процессоры должны быть объединены высокоскоростным каналом связи. Чтобы создать мощную вычислительную платформу, соответствующую скоростям бизнеса, необходима быстрая и масштабируемая коммуникационная технология.

Увеличиваем пропускную способность с помощью NVIDIA NVLink

Технология NVIDIA® NVLink® четвертого поколения обеспечивает в 1,5 раза более высокую пропускную способность и улучшенную масштабируемость для конфигураций с несколькими графическими процессорами. Один графический ускоритель NVIDIA H100 с тензорными ядрами поддерживает до 18 NVLink-соединений с общей пропускной способностью 900 ГБ/с, что более чем в 7 раз превосходит возможности интерфейса PCIe пятого поколения.

Технология позволяет увеличить масштабируемость платформ, например NVIDIA DGX™ H100, для ускорения тренировки моделей глубокого обучения.

NVIDIA A100 PCIe with NVLink GPU-to-GPU connection

NVIDIA H100 PCIe с технологией внутреннего соединения NVLink

NVIDIA A100 with NVLink GPU-to-GPU connections

Соединение между GPU NVIDIA H100 и NVLink

Производительность NVLink

Производительность NVLink

NVLink в NVIDIA H100 повышает скорость обмена данными между GPU в 1,5 раза по сравнению с решениями предыдущих поколений. Благодаря этому исследователи получают возможность использовать более современные приложения и решать более сложные задачи.

Полноскоростное подключение графических процессоров с NVIDIA NVSwitch

Третье поколение NVIDIA NVSwitch™ использует улучшенные возможности NVLink, чтобы обеспечить более высокую пропускную способность и снижение латентности при ресурсоемких вычислениях. Для обеспечения высокоскоростных совместных операций каждый коммутатор NVSwitch имеет 64 порта NVLink, которые оснащены движком NVIDIA Scalable Hierarchical Aggregation Reduction Protocol (SHARP) ™ для внутрисетевой редукции и многоканального ускорения.

Fully Connect GPUs with NVIDIA NVSwitch

Работая в системе NVIDIA DGX H100, коммутатор NVSwitch обеспечивает взаимодействие с полной пропускной способностью сразу восьми графических процессоров в одном кластере.

NVLink and NVSwitch Work Together

Работа комбинации NVLink и NVSwitch

NVLink – это прямой канал связи между графическими процессорами, который позволяет масштабировать обмен данными между ними в рамках одного сервера. NVSwitch соединяет несколько NVLink-интерфейсов, чтобы обеспечить полноценную коммуникацию между графическими процессорами на полной скорости NVLink внутри одного узла и между узлами.    

Комбинация NVLink и NVSwitch обеспечила победу NVIDIA в MLPerf, первом отраслевом бенчмарке для ИИ.

Как работает технология 

Масштабирование для тренировки моделей с триллионами параметров

С помощью NVSwitch соединение NVLink можно расширить на несколько узлов, чтобы создать мультиузловой GPU-кластер с высокой пропускной способностью, который, по сути, будет представлять собой графический процессор величиной с дата-центр. Благодаря добавлению к серверам второго (внешнего) уровня коммутаторов NVSwitch сеть NVLink может связать до 256 графических процессоров и обеспечить невероятную пропускную способность на уровне 57,6 ТБ/с. Это обеспечит быстрое решение даже самых объемных задач ИИ. 

Подробнее о NVIDIA H100 
Scale-Up to Train Trillion Parameter Models
NVIDIA NVLink Switch

Коммутатор NVIDIA NVLink

Стоечный коммутатор NVIDIA NVLink оснащен 128 портами NVLink с неблокирующей коммутацией на уровне 3.2 терабайты/с. Стоечный коммутатор создан для обеспечения высокой пропускной способности и низкой задержки на системах NVIDIA DGX и NVIDIA HGX™ с поддержкой внешнего соединения NVLink четвертого поколения.

Узнать больше про NVIDIA DGX H100  

Масштабирование до экзафлопсов

Полноценное соединение для непревзойденной производительности

NVSwitch — это первая архитектура, которая поддерживает полноценное подключение 16 GPU в одном серверном узле. NVSwitch третьего поколения соединяет каждую пару графических процессоров на невероятной скорости в 900 ГБ/с. Она поддерживает передачу данных «от всех ко всем» без ограничений. Графические процессоры могут использоваться как единый высокоскоростной ускоритель с вычислительной мощностью до 15 петафлопс в задачах глубокого обучения.

Самая мощная платформа для ИИ и высокопроизводительных вычислений

NVLink и NVSwitch – основная часть комплексного решения NVIDIA для дата-центров, которое содержит программно-аппаратное обеспечение, сети, библиотеки, а также оптимизированные модели и приложения для ИИ из программного пакета NVIDIA AI Enterprise и каталога NVIDIA NGC™. Самая производительная комплексная платформа для ИИ и HPC позволяет получать результаты в реальном времени и разворачивать решения, обеспечивая масштабируемое ускорение.

Спецификации

  • NVLink

    NVLink

  • NVSwitch

    NVSwitch

  • NVLink и NVSwitch между серверами

    NVLink и NVSwitch между серверами

  Второе поколение Третье поколение Четвертое поколение
Пропускная способность NVLink на один графический процессор 300 ГБ/с 600 ГБ/с 900 ГБ/с
Максимальное число соединений на GPU 6 12 18
Поддерживаемые архитектуры NVIDIA Архитектура NVIDIA Volta™ Архитектура NVIDIA Ampere Архитектура NVIDIA Hopper™
  Первое поколение Второе поколение Третье поколение
Количество графических процессоров с прямым подключением / узлов До 8 До 8 До 8
Пропускная способность NVSwitch 300 ГБ/с 600 ГБ/с 900 ГБ/с
Общая пропускная способность 2,4 ТБ/с 4,8 ТБ/с 7,2 ТБ/с
Поддерживаемые архитектуры NVIDIA Архитектура NVIDIA Volta Архитектура NVIDIA Ampere Архитектура NVIDIA Hopper
  NVLink и NVSwitch между серверами
Число GPU с прямым подключением До 256
Пропускная способность NVSwitch 900 ГБ/с
Общая пропускная способность 57,6 ТБ/с
Сетевая редукция Поддержка SHARP в NVSwitch
Программная поддержка CUDA®, CUDA-X™, Magnum IO™
Поддерживаемые архитектуры NVIDIA Архитектура NVIDIA Hopper

Данные спецификации являются предварительными и могут быть изменены.

Внутри архитектуры NVIDIA Hopper.

Узнайте больше об архитектуре NVIDIA Hopper и ее реализации в графическом процессоре NVIDIA H100 с тензорными ядрами.

Читать статью
Продукты
Технологии
Программное обеспечение
Материалы