GPU NVIDIA H100 с тензорными ядрами

Беспрецедентная производительность, масштабируемость и кибербезопасность для каждого дата-центра.

Значительный прорыв в ускоренных вычислениях

Беспрецедентная производительность, масштабируемость и безопасность для любых задач с GPU NVIDIA H100 с тензорными ядрами. С помощью коммутационной системы NVIDIA® NVLink® можно подключить до 256 H100 для ускорения экзафлопсных нагрузок, а также специальный механизм Transformer Engine для языковых моделей с триллионами параметров. Совокупность технологических инноваций H100 позволяет ускорить большие языковые модели в 30 раз по сравнению с предыдущим поколением, обеспечивая лучший в отрасли разговорный ИИ.

Готовы к Enterprise AI?

Внедрение ИИ на предприятиях в настоящее время стало массовым явлением, и для этого нужна комплексная, подготовленная для работы с ИИ инфраструктура, которая ускорит переход компаний в новую эпоху.

H100 для популярных серверов поставляется с пятилетней подпиской, включающей корпоративную поддержку, на пакет ПО NVIDIA AI Enterprise, который упрощает внедрение ИИ с максимальной производительностью. Это гарантирует организациям доступ к платформам и инструментам искусственного интеллекта, необходимым для создания процессов ИИ с ускорением H100, таких как чат-боты на основе ИИ, механизмы рекомендаций, машинное зрение на базе ИИ и многое другое.

Безопасное ускорение задач — от корпоративных до экзафлопсных

До 9 раз улучшенное обучение ИИ на самых крупных моделях

Модель коллектива экспертов (395 миллиардов параметров)

Трансформационное обучение моделей ИИ

Трансформационное обучение моделей ИИ

Графические процессоры H100, оснащенные тензорными ядрами четвертого поколения и Transformer Engine с точностью FP8, ускоряют обучение до 9 раз по сравнению с предыдущим поколением для моделей коллектива экспертов (MoE). Сочетание NVlink четвертого поколения, обеспечивающее соединение между графическими процессорами со скоростью 900 гигабайт в секунду (ГБ/с), системы NVSwitch, ускоряющей коллективную связь каждого GPU между узлами, PCIe 5-го поколения и ПО NVIDIA Magnum IO™ обеспечивает эффективную масштабируемость как для небольших предприятий, так и для крупных унифицированных кластеров GPU.

Развертывание графических процессоров H100 в масштабах дата-центра обеспечивает беспрецедентную производительность и делает следующее поколение экзафлопсных высокопроизводительных вычислений (HPC) и ИИ с триллионами параметров доступным для всех исследователей.

Инференс глубокого обучения в реальном времени

ИИ решает широкий спектр бизнес-задач, используя настолько же широкий набор нейронных сетей. Хороший ускоритель инференса модели ИИ должен обеспечивать не только высочайшую производительность, но и универсальность для ускорения этих сетей.

H100 укрепляет лидерство NVIDIA на рынке инференса благодаря улучшениям, которые ускоряют инференс до 30 раз и обеспечивают минимальную задержку. Тензорные ядра четвертого поколения ускоряют все типы точности, включая FP64, TF32, FP32, FP16 и INT8, а Transformer Engine использует FP8 и FP16 вместе, чтобы сократить использование памяти и повысить производительность, сохраняя при этом точность для больших языковых моделей.

До 30 раз выше скорость инференса на самых больших моделях ИИ

Инференс чат-бота Megatron (530 миллиардов параметров)

Инференс глубокого обучения в реальном времени

Производительность до 7 раз выше для приложений HPC

Приложения для высокопроизводительных вычислений с ИИ

Экзафлопсные высокопроизводительные вычисления

Платформа NVIDIA для дата-центров обеспечивает постоянный прирост производительности сверх закона Мура. А новые прорывные возможности ИИ в H100 еще больше усиливают мощь сочетания высокопроизводительных вычислений и ИИ, ускоряя работу ученых и исследователей по решению важнейших мировых задач.

H100 утраивает число операций с плавающей точкой в секунду (FLOPS) для тензорных ядер с операциями с двойной точностью, обеспечивая 60 терафлопс вычислений FP64 для задач HPC. Приложения для высокопроизводительных вычислений с ИИ могут использовать точность TF32 процессора H100, чтобы обеспечить пропускную способность один петафлопс в операциях умножения матриц с одинарной точностью без изменений кода.

H100 также содержит инструкции DPX, которые обеспечивают в 7 раз более высокую производительность по сравнению с GPU NVIDIA A100 с тензорными ядрами и 40-кратное ускорение по сравнению с традиционными двухпроцессорными серверами, работающими только на базе CPU, при использовании алгоритмов динамического программирования, таких как алгоритм Смита-Уотермана для выравнивания последовательностей ДНК.

Ускоренный анализ данных

Аналитика данных часто занимает большую часть времени при разработке приложений на основе ИИ. Поскольку большие наборы данных разбросаны по нескольким серверам, масштабируемые решения с серверами на базе CPU не справляются с задачами из-за отсутствия необходимой производительности вычислений.

Ускоренные серверы с H100 обеспечивают вычислительную мощность, а также пропускную способность памяти 3 ТБ/с на GPU и масштабируемость с помощью NVLink и NVSwitch, что позволяет выполнять аналитику данных с высокой производительностью и масштабированием для задач с большими наборами данных. В сочетании с NVIDIA Quantum-2 InfiniBand, ПО Magnum IO, Spark 3.0 с ускорением на основе GPU и NVIDIA RAPIDS платформа NVIDIA для дата-центров позволяет ускорить эти ресурсоемкие задачи, обеспечивая непревзойденную производительность и энергоэффективность.

Серверы с ускорением на основе H100
Технология NVIDIA Multi-Instance GPU

Готовность к развертыванию на предприятии

IT-менеджеры стремятся обеспечить максимально эффективное использование (как пиковое, так и среднее) вычислительных ресурсов в дата-центре. Они часто используют динамическую реконфигурацию вычислительных ресурсов, чтобы правильно распределить их для используемых нагрузок.

Технология Multi-Instance GPU (MIG) второго поколения в H100 позволяет максимально использовать каждый графический процессор, безопасно разделив его на семь отдельных инстансов. Благодаря поддержке конфиденциальных вычислений H100 обеспечивает безопасное сквозное многопользовательское использование, что идеально подходит для сред поставщиков облачных услуг (CSP).

H100 с MIG позволяет руководителям инфраструктур стандартизировать свою инфраструктуру с ускорением на основе GPU и обеспечить гибкое распределение ресурсов GPU с большей степенью детализации, чтобы безопасно предоставить разработчикам необходимый объем ускоренных вычислений и оптимальное использование всех ресурсов GPU.

Встроенные конфиденциальные вычисления

Современные решения для конфиденциальных вычислений основаны на CPU, которые слишком ограничены для ресурсоемких задач, таких как ИИ и высокопроизводительные вычисления. NVIDIA Confidential Computing – это встроенная функция безопасности архитектуры NVIDIA Hopper™, которая делает H100 первым в мире ускорителем с возможностями конфиденциальных вычислений. Пользователи могут защищать конфиденциальность и целостность своих данных и используемых приложений с доступом к беспрецедентному ускорению на основе GPU H100. Это создает аппаратную доверенную среду выполнения (TEE), которая защищает и изолирует всю нагрузку, выполняемую на одном графическом процессоре H100, нескольких GPU H100 в узле или отдельных инстансах MIG. Приложения с ускорением на основе GPU могут работать без изменений в TEE, и их не нужно разбивать на разделы. Пользователи могут сочетать мощь ПО NVIDIA для ИИ и HPC с безопасностью аппаратного корня доверия, поддерживаемого в NVIDIA Confidential Computing.

Решения NVIDIA Confidential Computing
Конвергентный ускоритель NVIDIA H100CX

Конвергенция GPU и SmartNIC

NVIDIA H100 CNX объединяет мощь H100 и современные сетевые возможности сетевой интерфейсной смарт-карты (SmartNIC)  NVIDIA ConnectX®-7 в одной уникальной платформе. Эта конвергенция обеспечивает непревзойденную производительность для нагрузок с большим объемом ввода/вывода (IO) на базе GPU, таких как распределенное обучение модели ИИ в корпоративном дата-центре и обработка данных 5G на периферийных устройствах.

Непревзойденная производительность для крупномасштабных задач ИИ и высокопроизводительных вычислений

GPU с тензорными ядрами Hopper ляжет в основу архитектуры NVIDIA Grace Hopper CPU+GPU, специально созданной для ускоренных вычислений терабайтного масштаба и обеспечивающей 10-кратный рост производительности при работе с крупными моделями ИИ и высокопроизводительных вычислений. Процессор NVIDIA Grace использует гибкость Arm® для создания архитектуры процессора и сервера с нуля для ускоренных вычислений. Графический процессор Hopper подключен к процессору Grace по ультраскоростному межкристальному интерфейсу NVIDIA, который обеспечивает пропускную способность 900 ГБ/с (в 7 раз быстрее по сравнению с PCIe Gen5). Этот инновационный дизайн обеспечит увеличение совокупной пропускной способности системы до 30 раз по сравнению с самыми быстродействующими из современных серверов и до 10 раз более высокую производительность для приложений, обрабатывающих терабайты данных.

Решения NVIDIA Confidential Computing

См. спецификации продукта.

Форм-фактор H100 SXM H100 PCIe
FP64 34 терафлопс 26 терафлопс
Тензорное ядро для FP64 67 терафлопс 51 терафлопс
FP32 67 терафлопс 51 терафлопс
Тензорное ядро для TF32 989 терафлопс* 756 терафлопс*
Тензорное ядро для BFLOAT16 1979 терафлопс* 1513 терафлопс*
Тензорное ядро для FP16 1979 терафлопс* 1513 терафлопс*
Тензорное ядро для FP8 3958 терафлопс* 3026 терафлопс*
Тензорное ядро для INT8 3958 TOPS* 3026 TOPS*
Объем видеопамяти 80 ГБ 80 ГБ
Пропускная способность GPU 3,35 ТБ/с 2 ТБ/с
Декодеры 7 NVDEC
7 JPEG
7 NVDEC
7 JPEG
Максимальные требования по теплоотводу (TDP) До 700 Вт (настраиваемая) 300–350 Вт (настраиваемая)
Комбинации Multi-Instance GPU До 7 MIG с 10 ГБ каждый
Форм-фактор SXM PCIe
Двухслотовый с воздушным охлаждением
Межсоединение NVLink: 900 ГБ/с PCIe Gen5: 128 ГБ/с NVLINK: 600 ГБ/с PCIe Gen5: 128 ГБ/с
Сервер Сервер NVIDIA HGX H100 на базе NVIDIA-Certified Systems и решений партнеров с 4 или 8 графическими процессорами NVIDIA DGX H100 с 8 графическими процессорами Сервер на базе сертифицированных NVIDIA систем и решений партнеров с 1–8 графическими процессорами
NVIDIA AI Enterprise Дополнительно Входит в комплект

Подробный обзор архитектуры NVIDIA Hopper.