This site requires Javascript in order to view all its content. Please enable Javascript in order to access all the functionality of this web site. Here are the instructions how to enable JavaScript in your web browser.

Конвергентный ускоритель NVIDIA H100 CNX

Непревзойденная производительность для задач с интенсивным вводом-выводом на GPU.

Подробнее

Ускорение вычислений и передачи данных по сети

Небывалая производительность конвергентного ускорения. NVIDIA H100 CNX объединяет в себе возможности GPU NVIDIA H100 с тензорными ядрами с продвинутыми сетевыми возможностями сетевой карты (SmartNIC) NVIDIA^® ConnectX^®-7 для ускорения рабочих задач с интенсивным вводом-выводом на GPU, таких как распределенное обучение ИИ в корпоративном дата-центре и обработка данных 5G на периферии.

техническим описанием NVIDIA H100 CNX(PDF 63 KB)

Выше скорость ввода-вывода

NVIDIA H100 и ConnectX-7 подключены через встроенный коммутатор PCIe Gen5, который обеспечивает выделенный высокоскоростной путь для передачи данных между GPU и сетью. Это устраняет узкие места при прохождении данных через хост и обеспечивает низкую предсказуемую задержку, что важно для чувствительных ко времени приложений, таких как обработка сигналов 5G.

Сбалансированный оптимизированный дизайн

Интеграция GPU и SmartNIC в одном устройстве позволяет получить сбалансированную архитектуру. В системах, где требуется несколько GPU, карта конвергентного ускорителя обеспечивает оптимальное соотношение «один к одному» между GPU и сетевой картой. Такой дизайн также позволяет избежать конфликтов на шине PCIe сервера, поэтому производительность увеличивается линейно при добавлении дополнительных устройств.

Экономия затрат

Поскольку GPU и SmartNIC подключены напрямую, клиенты могут использовать основные серверы PCIe Gen4 или даже Gen3 для достижения уровня производительности, возможного только в высокопроизводительных или специализированных системах. Использование одной карты также позволяет экономить электроэнергию, пространство и слоты PCIe, что обеспечивает дополнительную экономию средств за счет увеличения количества ускорителей на сервер.

Для приложений

Основные программные библиотеки ускорения, такие как NVIDIA Collective Communications Library (NCCL) и Unified Communication X (UCX^®), автоматически используют наиболее эффективный путь для передачи данных на GPU. В результате существующие ускоренные многоузловые приложения могут использовать преимущества H100 CNX без каких-либо модификаций, что обеспечивает немедленные преимущества.

Более быстрые и энергоэффективные системы ИИ

Распределенное многоузловое обучение модели ИИ

При выполнении распределенного обучения ИИ, включающего передачу данных между GPU на разных хостах, серверы часто сталкиваются с ограничениями производительности, масштабируемости и плотности. Типичные корпоративные серверы не включают коммутатор PCIe, поэтому CPU становится узким местом для этого трафика, особенно для виртуальных машин. Передача данных ограничена скоростью объединительной платы PCIe хоста. Конфликт может быть вызван дисбалансом между количеством GPU и сетевых карт. Хотя соотношение один к одному является идеальным, количество линий PCIe и слотов в сервере может ограничивать общее количество устройств.

H100 CNX поможет решить эту проблему. Благодаря выделенному пути от сети к GPU, GPUDirect^® RDMA может работать на скоростях, близких к линейным. Передача данных также происходит на скоростях PCIe Gen5 независимо от объединительной платы хоста PCIe. Масштабирование мощности GPU на хосте может быть выполнено сбалансированным образом, поскольку достигается идеальное соотношение между GPU и сетевой картой. Сервер также может быть наделен большим ускорением, поскольку для конвергентных ускорителей требуется меньше линий PCIe и слотов для устройств, чем для дискретных карт.

Ускорение AI-on-5G

NVIDIA AI-on-5G включает в себя платформу NVIDIA EGX^™, SDK NVIDIA Aerial^™ для программно определяемых виртуальных сетей радиодоступа (vRAN) на 5G и корпоративных фреймворков ИИ, включая SDK, такие как NVIDIA Isaac^™ и NVIDIA Metropolis. Платформа позволяет периферийным устройствам, таким как видеокамеры, промышленные датчики и роботы, использовать ИИ и передавать данные в сервер через 5G.

Конвергентные ускорители NVIDIA гарантируют самую высокопроизводительную платформу для запуска приложений 5G. Данные не проходят через узел PCIe, что значительно уменьшает задержки при обработке. Один конвергентный ускоритель может использоваться для ускорения обработки сигналов 5G и edge AI с технологией NVIDIA Multi-Instance GPU (MIG), что позволит предоставить доступ к графическому процессору для нескольких приложений. H100 CNX обеспечивает реализацию этих функций на одном корпоративном сервере без необходимости развертывания более дорогостоящих специализированных систем.

Спецификации H100 CNX

	Спецификации
Объем видеопамяти	80 ГБ HBM2e
Пропускная способность памяти	> 2,0 Тбит/с
Инстансы MIG	7 инстансов, 10 ГБ каждый 3 инстанса, 20 ГБ каждый 2 инстанса, 40 ГБ каждый
Межсоединение	PCIe Gen5 128ГБ/с
Мост NVLink	В обоих направлениях
Сетевые технологии	1 порт 400 Гбит/с, 2 порта 200 Гбит/с, Ethernet или InfiniBand
Форм-фактор	Два слота, полноразмерный форм-фактор (FHFL)
Максимальное потребление энергии	350 Вт

Подробный обзор архитектуры NVIDIA Hopper

Читать статью