This site requires Javascript in order to view all its content. Please enable Javascript in order to access all the functionality of this web site. Here are the instructions how to enable JavaScript in your web browser.

Архитектура NVIDIA Hopper

Движок для инфраструктуры искусственного интеллекта мирового класса обеспечивает гигантский скачок производительности.

Подробнее

Платформа ускоренных вычислений для задач нового поколения.

Узнайте о новом мощном скачке в области ускоренных вычислений с архитектурой NVIDIA Hopper^™. Hopper безопасно масштабирует разнообразные нагрузки в каждом дата-центре: от задач небольших компаний до экзафлопсных высокопроизводительных вычислений и ИИ с триллионами параметров, чтобы новаторы могли выполнять работу самыми быстрыми темпами в истории.

Готовы к Enterprise AI?

Внедрение ИИ на предприятиях в настоящее время стало массовым явлением, и для этого нужна комплексная, подготовленная для работы с ИИ инфраструктура, которая ускорит переход компаний в новую эпоху.

Графические процессоры NVIDIA H100 с тензорными ядрами для популярных серверов поставляются с комплектом ПО NVIDIA AI Enterprise, упрощающим внедрение ИИ с максимальной производительностью.

Активируйте NVIDIA AI Enterprise для H100

Узнайте о технологических достижениях.

Hopper использует свыше 80 млрд транзисторов с новым техпроцессом TSMC 4N и включает пять инноваций, которые лежат в основе GPU NVIDIA H100 с тензорными ядрами, что обеспечивает 30-кратное ускорение по сравнению с предыдущим поколением инференса модели ИИ для чат-бота NVIDIA Megatron 530B, крупнейшей в мире модели генеративного языка.

Transformer Engine

Архитектура NVIDIA Hopper совершенствует технологию тензорных ядер с помощью движка Transformer Engine, предназначенного для ускорения обучения моделей ИИ. Тензорные ядра Hopper способны смешивать форматы FP8 и FP16, что позволяет существенно ускорить ИИ-вычисления при обучении трансформеров, при этом сохраняя требуемую точность. В операциях TF32, FP64, FP16 и INT8 операции c плавающей точкой также утроились. В сочетании с Transformer Engine и NVIDIA^® NVLink^® четвертого поколения тензорные ядра Hopper обеспечивают ускорение рабочих нагрузок на порядок для HPC и ИИ задач.

Подробнее о тензорных ядрах NVIDIA

Сеть NVLink

Чтобы двигаться со скоростью бизнеса, модели экзафлопсных HPC-вычислений и моделей ИИ с триллионами параметров нуждаются в высокоскоростной и бесперебойной связи между каждым GPU в серверном кластере.

NVLink четвертого поколения - это масштабируемый интерконнект. В сочетании с новым внешним коммутатором NVLink сеть NVLink обеспечивает масштабирование ввода-вывода нескольких GPU на нескольких серверах со скоростью 900 гигабайт в секунду в обоих направлениях на каждый GPU, что в 7 раз превышает пропускную способность PCIe Gen5. NVLink Network поддерживает кластеры до 256 подключенных H100 и обеспечивает пропускную способность в 9 раз выше, чем InfiniBand HDR на Ampere.

Кроме того, NVLink теперь поддерживает внутрисетевые вычисления под названием SHARP, ранее доступные только на Infiniband, и может обеспечить один экзафлоп вычислений ИИ FP8 при пропускной способности All2All 57,6 терабайт/с.

Узнайте больше о NVLink и NVSwitch

Конфиденциальные вычисления NVIDIA

Хотя данные зашифрованы при хранении в хранилище и при передаче по сети, они не защищены во время обработки. Confidential Computing устраняет этот пробел, защищая используемые данные и приложения. Архитектура NVIDIA Hopper представляет собой первую в мире платформу ускоренных вычислений с возможностями конфиденциальных вычислений.

Благодаря надежной аппаратной безопасности пользователи могут запускать приложения локально, в облаке или на периферии и быть уверенными, что неавторизованные лица не смогут просмотреть или изменить код и данные приложения, когда оно используется. Это защищает конфиденциальность и целостность данных и приложений, а также обеспечивает беспрецедентное ускорение GPU H100 для обучения ИИ, инференса ИИ и рабочих нагрузок HPC.

Подробнее о NVIDIA Confidential Computing

MIG второго поколения

С помощью Multi-Instance GPU (MIG) GPU можно разделить на несколько небольших, полностью изолированных инстансов с собственной памятью, кешем и вычислительными ядрами. Архитектура Hopper еще больше расширяет возможности MIG, поддерживая многопользовательские конфигурации в виртуализированных средах с использованием до семи инстансов GPU, надежно изолируя каждый инстанс с помощью конфиденциальных вычислений на уровне оборудования и гипервизора Выделенные видеодекодеры для каждого инстанса MIG обеспечивают безопасную высокоскоростную интеллектуальную видеоаналитику (IVA) в общей инфраструктуре. А с помощью параллельного профилирования MIG администраторы могут отслеживать ускорение нужного GPU и оптимизировать распределение ресурсов для пользователей.

Исследователи с небольшими рабочими нагрузками вместо аренды полного инстанса CSP могут выбрать использование MIG с безопасной изоляцией части GPU и быть уверенными в безопасности своих данных в состоянии покоя, при передаче и при вычислении.

Подробнее о MIG

Инструкции по DPX

Динамическое программирование — это алгоритмический метод решения сложной рекурсивной задачи путем ее разбиения на более простые подзадачи. Сохранение результатов подзадач, чтобы не пришлось пересчитывать их позже, сокращает время и сложность экспоненциального решения задач. Динамическое программирование обычно используется в самых разных случаях. Например, Floyd-Warshall — это алгоритм оптимизации маршрутов, который можно использовать для составления карты кратчайших маршрутов для транспортных и доставочных флотов. Алгоритм Смита-Уотермана используется для выравнивания последовательностей ДНК и сворачивания белков.

Hopper включает инструкции DPX для ускорения алгоритмов динамического программирования до 40 раз по сравнению с CPU и в 7 раз по сравнению с GPU на архитектуре NVIDIA Ampere. Это значительно ускоряет диагностику заболеваний, оптимизацию маршрутизации в реальном времени и даже анализ графиков.

Узнайте больше об инструкциях по DPX

Данные спецификации являются предварительными и могут быть изменены.
Сравнение инструкций DPX у системы HGX H100 4-GPU и системы с двумя 32-ядерными процессорами IceLake

Подробный обзор архитектуры NVIDIA Hopper.

Читать статью