NVLink и NVSwitch

Элементы для продвинутого соединения GPU

Работа комбинации NVLink и NVSwitch

NVIDIA NVLink

NVIDIA A100 PCIe with NVLink GPU-to-GPU connection
NVIDIA A100 with NVLink GPU-to-GPU connections

NVIDIA NVSwitch

The NVSwitch topology diagram

Максимальная пропускная способность с NVLink

NVLINK третьего поколения

Технология NVIDIA NVLink решает эти проблемы, обеспечивая более высокую пропускную способность, большее число соединений и улучшенную масштабируемость для конфигураций с несколькими GPU. Один графический ускоритель NVIDIA A100 с тензорными ядрами поддерживает до 12 соединений NVLink третьего поколения с общей пропускной способностью 600 Гб/с, что в 10 раз превосходит показатели PCIe Gen 4.

В A100 число соединений NVLink увеличено с 6 до 12. Прямое соединение двух GPU повышает точность и ускоряет сходимость в задачах ИИ и HPC. Технология NVLink также доступна в конфигурациях A100 PCIe с двумя GPU.

Технология позволяет увеличить масштабируемость платформ, например NVIDIA DGX™, для ускорения тренировки моделей глубокого обучения.

Производительность NVLink

NVLink in NVIDIA A100

NVIDIA NVSwitch

NVSwitch: полное подключение NVLink

Быстрое внедрение алгоритмов глубокого обучение создало необходимость в более быстрой и масштабируемой технологии внутреннего соединения, так как пропускная способность PCIe все чаще становится узким местом систем с несколькими GPU. Для масштабирования задач глубокого обучения требуется значительно более высокая пропускная способность и низкая задержка.

Для решения этой проблемы NVIDIA NVSwitch использует расширенные возможности соединения NVLink. Матрица GPU повышает производительность глубокого обучения, позволяя использовать больше GPU на одном сервере и обеспечивая полноценное подключение. Каждый GPU оснащен 12 соединениями NVLink к NVSwitch, что обеспечивает высокоскоростную всестороннюю коммуникацию.

 

Самая производительная комплексная платформа для ИИ и HPC в дата-центре

NVLink и NVSwitch — это основные элементы стека решений NVIDIA для дата-центров, который содержит программно-аппаратное обеспечение, сети, библиотеки, а также оптимизированные модели и приложения для ИИ из NGC™. Самая производительная комплексная платформа для ИИ и HPC позволяет получать результаты в реальном времени и разворачивать решения, обеспечивая масштабируемое ускорение.

Полноценное соединение для непревзойденной производительности

NVSwitch — это первая архитектура, которая поддерживает полноценное подключение 16 GPU в одном серверном узле. NVSwitch второго поколения обеспечивает одновременную коммуникацию всех восьми пар GPU со скоростью 600 Гбит/с для каждой. Она поддерживает всестороннее соединение с прямой адресацией памяти одноранговых GPU. Эти 16 GPU можно использовать как один огромный ускоритель с унифицированной памятью и вычислительной производительностью до 5 петафлопс в задачах глубокого обучения.

Спецификации

  • NVIDIA NVLink

    NVIDIA NVLink

  • NVIDIA NVSwitch

    NVIDIA NVSwitch

  Второе поколение Третье поколение
Общая пропускная способность NVLink 300 Гбит/с 600 Гбит/с
Максимальное число соединений на GPU 6 12
Поддерживаемые архитектуры NVIDIA NVIDIA Volta NVIDIA Ampere
  NVSwitch с NVLink второго поколения NVSwitch с NVLink третьего поколения
Число GPU До 16 До 16
Пропускная способность между GPU 300 Гбит/с 600 Гбит/с
Суммарная пропускная способность 4,8 Тбит/с 9,6 Тбит/с
Поддерживаемые архитектуры NVIDIA NVIDIA Volta NVIDIA Ampere

Начать работу

Оцените NVIDIA DGX A100, универсальную систему для инфраструктуры ИИ и первую в мире систему с ИИ на базе GPU NVIDIA A100 с тензорными ядрами.