Архитектура NVIDIA Hopper

Новый движок для инфраструктуры искусственного интеллекта обеспечивает гигантский скачок производительности.

Ускоряемая вычислительная платформа для
Рабочие нагрузки нового поколения

Узнайте о новом мощном скачке в области ускоренных вычислений с архитектурой NVIDIA Hopper. Hopper безопасно масштабирует разнообразные рабочие задачи в каждом дата-центре, от задач небольших компаний до экзафлопсных HPC-вычислений и ИИ с триллионами параметров, чтобы новаторы могли выполнять работу самыми быстрыми темпами в истории.

Технологические достижения

Hopper использует свыше 80 млрд транзисторов с новым техпроцессом TSMC 4N и включает пять инноваций, которые лежат в основе GPU NVIDIA H100 с тензорными ядрами, что обеспечивает 30-кратное ускорение по сравнению с предыдущим поколением инференса чат-бота NVIDIA Megatron 530B, крупнейшей в мире модели генеративного языка.

Transformer Engine

Transformer Engine

Архитектура NVIDIA Hopper совершенствует технологию тензорных ядер с помощью движка Transformer Engine, предназначенного для ускорения обучения моделей ИИ. Тензорные ядра Hopper способны смешивать форматы FP8 и FP16, что позволяет существенно ускорить ИИ-вычисления при обучении трансформеров, при этом сохраняя требуемую точность. В операциях TF32, FP64, FP16 и INT8 операции c плавающей точкой также утроились. В сочетании с Transformer Engine и NVIDIA® NVLink® четвертого поколения тензорные ядра Hopper обеспечивают ускорение рабочих нагрузок на порядок для HPC и ИИ задач.

Сеть NVLink

Чтобы двигаться со скоростью бизнеса, модели экзафлопсных HPC-вычислений и моделей ИИ с триллионами параметров нуждаются в высокоскоростной и бесперебойной связи между каждым GPU в серверном кластере.

NVLink четвертого поколения - это масштабируемый интерконнект. В сочетании с новым внешним коммутатором NVLink сеть NVLink обеспечивает масштабирование ввода-вывода нескольких GPU на нескольких серверах со скоростью 900 гигабайт в секунду в обоих направлениях на каждый GPU, что в 7 раз превышает пропускную способность PCIe Gen5. NVLink Network поддерживает кластеры до 256 подключенных H100 и обеспечивает пропускную способность в 9 раз выше, чем InfiniBand HDR на Ampere.

Кроме того, NVLink теперь поддерживает внутрисетевые вычисления под названием SHARP, ранее доступные только на Infiniband, и может обеспечить один экзафлоп вычислений ИИ FP8 при пропускной способности All2All 57,6 терабайт/с.

NVLink Switch System
Конфиденциальные вычисления NVIDIA

Конфиденциальные вычисления NVIDIA

Хотя данные зашифрованы при хранении в хранилище и при передаче по сети, они не защищены во время обработки. Confidential Computing устраняет этот пробел, защищая используемые данные и приложения. Архитектура NVIDIA Hopper представляет собой первую в мире платформу ускоренных вычислений с возможностями конфиденциальных вычислений.

Благодаря надежной аппаратной безопасности пользователи могут запускать приложения локально, в облаке или на периферии и быть уверенными, что неавторизованные лица не смогут просмотреть или изменить код и данные приложения, когда оно используется. Это защищает конфиденциальность и целостность данных и приложений, а также обеспечивает беспрецедентное ускорение GPU H100 для обучения ИИ, инференса ИИ и рабочих нагрузок HPC.

MIG второго поколения

С помощью Multi-Instance GPU (MIG) GPU можно разделить на несколько небольших, полностью изолированных инстансов с собственной памятью, кешем и вычислительными ядрами. Архитектура Hopper еще больше расширяет возможности MIG, поддерживая многопользовательские конфигурации в виртуализированных средах с использованием до семи инстансов GPU, надежно изолируя каждый инстанс с помощью конфиденциальных вычислений на уровне оборудования и гипервизора Выделенные видеодекодеры для каждого инстанса MIG обеспечивают безопасную высокоскоростную интеллектуальную видеоаналитику (IVA) в общей инфраструктуре. А с помощью параллельного профилирования MIG администраторы могут отслеживать ускорение нужного GPU и оптимизировать распределение ресурсов для пользователей.

Исследователи с небольшими рабочими нагрузками вместо аренды полного инстанса CSP могут выбрать использование MIG с безопасной изоляцией части GPU и быть уверенными в безопасности своих данных в состоянии покоя, при передаче и при вычислении.

Second-Generation MIG
DPX Instructions

Инструкции по DPX

Динамическое программирование — это алгоритмический метод решения сложной рекурсивной задачи путем ее разбиения на более простые подзадачи. Сохранение результатов подзадач, чтобы не пришлось пересчитывать их позже, сокращает время и сложность экспоненциального решения задач. Динамическое программирование обычно используется в самых разных случаях. Например, Floyd-Warshall — это алгоритм оптимизации маршрутов, который можно использовать для составления карты кратчайших маршрутов для транспортных и доставочных флотов. Алгоритм Смита-Уотермана используется для выравнивания последовательностей ДНК и сворачивания белков.

Hopper включает инструкции DPX для ускорения алгоритмов динамического программирования до 40 раз по сравнению с CPU и в 7 раз по сравнению с GPU на архитектуре NVIDIA Ampere. Это значительно ускоряет диагностику заболеваний, оптимизацию маршрутизации в реальном времени и даже анализ графиков.

Данные спецификации являются предварительными и могут быть изменены.

Подробный обзор архитектуры NVIDIA Hopper