This site requires Javascript in order to view all its content. Please enable Javascript in order to access all the functionality of this web site. Here are the instructions how to enable JavaScript in your web browser.

NVLINK И NVSWITCH

Элементы для продвинутого соединения графических процессоров – внутри и между серверами

Быстрые и масштабируемые технологии соединения

Повышение требований к вычислительным ресурсам в задачах ИИ и высокопроизводительных вычислений (HPC), в том числе в новом классе моделей с триллионами параметров, обусловливает необходимость в системах с несколькими узлами и несколькими графическими процессорами, при этом все графические процессоры должны быть объединены высокоскоростным каналом связи. Чтобы создать мощную вычислительную платформу, соответствующую скоростям бизнеса, необходима быстрая и масштабируемая коммуникационная технология.

Увеличиваем пропускную способность с помощью NVIDIA NVLink

Технология NVIDIA^® NVLink^® четвертого поколения обеспечивает в 1,5 раза более высокую пропускную способность и улучшенную масштабируемость для конфигураций с несколькими графическими процессорами. Один графический ускоритель NVIDIA H100 с тензорными ядрами поддерживает до 18 NVLink-соединений с общей пропускной способностью 900 ГБ/с, что более чем в 7 раз превосходит возможности интерфейса PCIe пятого поколения.

Технология позволяет увеличить масштабируемость платформ, например NVIDIA DGX^™ H100, для ускорения тренировки моделей глубокого обучения.

NVIDIA A100 PCIe with NVLink GPU-to-GPU connection

NVIDIA H100 PCIe с технологией внутреннего соединения NVLink

NVIDIA A100 with NVLink GPU-to-GPU connections

Соединение между GPU NVIDIA H100 и NVLink

Производительность NVLink

NVLink в NVIDIA H100 повышает скорость обмена данными между GPU в 1,5 раза по сравнению с решениями предыдущих поколений. Благодаря этому исследователи получают возможность использовать более современные приложения и решать более сложные задачи.

Полноскоростное подключение графических процессоров с NVIDIA NVSwitch

Третье поколение NVIDIA NVSwitch^™ использует улучшенные возможности NVLink, чтобы обеспечить более высокую пропускную способность и снижение латентности при ресурсоемких вычислениях. Для обеспечения высокоскоростных совместных операций каждый коммутатор NVSwitch имеет 64 порта NVLink, которые оснащены движком NVIDIA Scalable Hierarchical Aggregation Reduction Protocol (SHARP)^™ для внутрисетевой редукции и многоканального ускорения.

Работая в системе NVIDIA DGX H100, коммутатор NVSwitch обеспечивает взаимодействие с полной пропускной способностью сразу восьми графических процессоров в одном кластере.

Работа комбинации NVLink и NVSwitch

NVLink – это прямой канал связи между графическими процессорами, который позволяет масштабировать обмен данными между ними в рамках одного сервера. NVSwitch соединяет несколько NVLink-интерфейсов, чтобы обеспечить полноценную коммуникацию между графическими процессорами на полной скорости NVLink внутри одного узла и между узлами.

Комбинация NVLink и NVSwitch обеспечила победу NVIDIA в MLPerf, первом отраслевом бенчмарке для ИИ.

КАК РАБОТАЕТ ТЕХНОЛОГИЯ

Масштабирование для тренировки моделей с триллионами параметров

С помощью NVSwitch соединение NVLink можно расширить на несколько узлов, чтобы создать мультиузловой GPU-кластер с высокой пропускной способностью, который, по сути, будет представлять собой графический процессор величиной с дата-центр. Благодаря добавлению к серверам второго (внешнего) уровня коммутаторов NVSwitch сеть NVLink может связать до 256 графических процессоров и обеспечить невероятную пропускную способность на уровне 57,6 ТБ/с. Это обеспечит быстрое решение даже самых объемных задач ИИ.

ПОДРОБНЕЕ О NVIDIA H100

Scale-Up to Train Trillion Parameter Models

Коммутатор NVIDIA NVLink

Стоечный коммутатор NVIDIA NVLink оснащен 128 портами NVLink с неблокирующей коммутацией на уровне 25,6 Тбит/с. Стоечный коммутатор создан для обеспечения высокой пропускной способности и низкой задержки на системах NVIDIA DGX и NVIDIA HGX^™ с поддержкой внешнего соединения NVLink четвертого поколения.

УЗНАТЬ БОЛЬШЕ ПРО NVIDIA DGX H100

Масштабирование до экзафлопсов

Полноценное соединение для непревзойденной производительности

NVSwitch — это первая архитектура, которая поддерживает полноценное подключение 16 GPU в одном серверном узле. NVSwitch третьего поколения соединяет каждую пару графических процессоров на невероятной скорости в 900 ГБ/с. Она поддерживает передачу данных «от всех ко всем» без ограничений. Графические процессоры могут использоваться как единый высокоскоростной ускоритель с вычислительной мощностью до 15 петафлопс в задачах глубокого обучения.

Самая мощная платформа для ИИ и высокопроизводительных вычислений

NVLink и NVSwitch – основная часть комплексного решения NVIDIA для дата-центров, которое содержит программно-аппаратное обеспечение, сети, библиотеки, а также оптимизированные модели и приложения для ИИ из программного пакета NVIDIA AI Enterprise и каталога NVIDIA NGC^™. Самая производительная комплексная платформа для ИИ и HPC позволяет получать результаты в реальном времени и разворачивать решения, обеспечивая масштабируемое ускорение.

Спецификации

NVLink
NVSwitch
NVLink и NVSwitch между серверами

	Второе поколение	Третье поколение	Четвертое поколение
Пропускная способность NVLink на один графический процессор	300 ГБ/с	600 ГБ/с	900 ГБ/с
Максимальное число соединений на GPU	6	12	18
Поддерживаемые архитектуры NVIDIA	Архитектура NVIDIA Volta^™	Архитектура NVIDIA Ampere	Архитектура NVIDIA Hopper^™

	Первое поколение	Второе поколение	Третье поколение
Количество графических процессоров с прямым подключением / узлов	До 8	До 8	До 8
Пропускная способность NVSwitch	300 ГБ/с	600 ГБ/с	900 ГБ/с
Общая пропускная способность	2,4 ТБ/с	4,8 ТБ/с	7,2 ТБ/с
Поддерживаемые архитектуры NVIDIA	Архитектура NVIDIA Volta	Архитектура NVIDIA Ampere	Архитектура NVIDIA Hopper

	NVLink и NVSwitch между серверами
Число GPU с прямым подключением	До 256
Пропускная способность NVSwitch	900 ГБ/с
Общая пропускная способность	57,6 ТБ/с
Сетевая редукция	Поддержка SHARP в NVSwitch
Программная поддержка	CUDA^®, CUDA-X^™, Magnum IO^™
Поддерживаемые архитектуры NVIDIA	Архитектура NVIDIA Hopper

Данные спецификации являются предварительными и могут быть изменены.

Внутри архитектуры NVIDIA Hopper.

Узнайте больше об архитектуре NVIDIA Hopper и ее реализации в графическом процессоре NVIDIA H100 с тензорными ядрами.

ЧИТАТЬ СТАТЬЮ