This site requires Javascript in order to view all its content. Please enable Javascript in order to access all the functionality of this web site. Here are the instructions how to enable JavaScript in your web browser.

GPU NVIDIA H100 с тензорными ядрами

Беспрецедентная производительность, масштабируемость и кибербезопасность для каждого дата-центра.

Подробнее

Значительный прорыв в ускоренных вычислениях

Беспрецедентная производительность, масштабируемость и безопасность для любых задач с GPU NVIDIA H100 с тензорными ядрами. С помощью коммутационной системы NVIDIA^® NVLink^® можно подключить до 256 H100 для ускорения экзафлопсных нагрузок, а также специальный механизм Transformer Engine для языковых моделей с триллионами параметров. Совокупность технологических инноваций H100 позволяет ускорить большие языковые модели в 30 раз по сравнению с предыдущим поколением, обеспечивая лучший в отрасли разговорный ИИ.

Читать технические спецификации NVIDIA H100 PCIe

Прочтите краткое описание продукта NVIDIA H100 PCIe

Готовы к Enterprise AI?

Внедрение ИИ на предприятиях в настоящее время стало массовым явлением, и для этого нужна комплексная, подготовленная для работы с ИИ инфраструктура, которая ускорит переход компаний в новую эпоху.

H100 для популярных серверов поставляется с пятилетней подпиской, включающей корпоративную поддержку, на пакет ПО NVIDIA AI Enterprise, который упрощает внедрение ИИ с максимальной производительностью. Это гарантирует организациям доступ к платформам и инструментам искусственного интеллекта, необходимым для создания процессов ИИ с ускорением H100, таких как чат-боты на основе ИИ, механизмы рекомендаций, машинное зрение на базе ИИ и многое другое.

Активируйте NVIDIA AI Enterprise

Безопасное ускорение задач — от корпоративных до экзафлопсных

До 9 раз улучшенное обучение ИИ на самых крупных моделях

Модель коллектива экспертов (395 миллиардов параметров)

Прогнозируемая производительность может измениться. Учебная модель коллектива экспертов (MoE), вариант Transformer Switch-XXL с 395 миллиардами параметров на наборе данных с 1 триллионом токенов | Кластер A100: сеть HDR IB | Кластер H100: коммутационная система NVLINK, NDR IB

Трансформационное обучение моделей ИИ

Графические процессоры H100, оснащенные тензорными ядрами четвертого поколения и Transformer Engine с точностью FP8, ускоряют обучение до 9 раз по сравнению с предыдущим поколением для моделей коллектива экспертов (MoE). Сочетание NVlink четвертого поколения, обеспечивающее соединение между графическими процессорами со скоростью 900 гигабайт в секунду (ГБ/с), системы NVSwitch, ускоряющей коллективную связь каждого GPU между узлами, PCIe 5-го поколения и ПО NVIDIA Magnum IO™ обеспечивает эффективную масштабируемость как для небольших предприятий, так и для крупных унифицированных кластеров GPU.

Развертывание графических процессоров H100 в масштабах дата-центра обеспечивает беспрецедентную производительность и делает следующее поколение экзафлопсных высокопроизводительных вычислений (HPC) и ИИ с триллионами параметров доступным для всех исследователей.

Попробуйте NVIDIA AI и NVIDIA H100 в NVIDIA LaunchPad

Инференс глубокого обучения в реальном времени

ИИ решает широкий спектр бизнес-задач, используя настолько же широкий набор нейронных сетей. Хороший ускоритель инференса модели ИИ должен обеспечивать не только высочайшую производительность, но и универсальность для ускорения этих сетей.

H100 укрепляет лидерство NVIDIA на рынке инференса благодаря улучшениям, которые ускоряют инференс до 30 раз и обеспечивают минимальную задержку. Тензорные ядра четвертого поколения ускоряют все типы точности, включая FP64, TF32, FP32, FP16 и INT8, а Transformer Engine использует FP8 и FP16 вместе, чтобы сократить использование памяти и повысить производительность, сохраняя при этом точность для больших языковых моделей.

До 30 раз выше скорость инференса на самых больших моделях ИИ

Инференс чат-бота Megatron (530 миллиардов параметров)

Инференс глубокого обучения в реальном времени

Projected performance subject to change. Inference on Megatron 530B parameter model chatbot for input sequence length=128, output sequence length=20 | Кластер A100: сеть HDR IB | Кластер H100: сеть NDR IB для конфигураций с 16 H100 | Сравнение 32 A100 и 16 H100 за 1 и 1,5 с | Сравнение 16 A100 и 8 H100 за 2 с

Производительность до 7 раз выше для приложений HPC

Приложения для высокопроизводительных вычислений с ИИ

Экзафлопсные высокопроизводительные вычисления

Платформа NVIDIA для дата-центров обеспечивает постоянный прирост производительности сверх закона Мура. А новые прорывные возможности ИИ в H100 еще больше усиливают мощь сочетания высокопроизводительных вычислений и ИИ, ускоряя работу ученых и исследователей по решению важнейших мировых задач.

H100 утраивает число операций с плавающей точкой в секунду (FLOPS) для тензорных ядер с операциями с двойной точностью, обеспечивая 60 терафлопс вычислений FP64 для задач HPC. Приложения для высокопроизводительных вычислений с ИИ могут использовать точность TF32 процессора H100, чтобы обеспечить пропускную способность один петафлопс в операциях умножения матриц с одинарной точностью без изменений кода.

H100 также содержит инструкции DPX, которые обеспечивают в 7 раз более высокую производительность по сравнению с GPU NVIDIA A100 с тензорными ядрами и 40-кратное ускорение по сравнению с традиционными двухпроцессорными серверами, работающими только на базе CPU, при использовании алгоритмов динамического программирования, таких как алгоритм Смита-Уотермана для выравнивания последовательностей ДНК.

Ускоренный анализ данных

Аналитика данных часто занимает большую часть времени при разработке приложений на основе ИИ. Поскольку большие наборы данных разбросаны по нескольким серверам, масштабируемые решения с серверами на базе CPU не справляются с задачами из-за отсутствия необходимой производительности вычислений.

Ускоренные серверы с H100 обеспечивают вычислительную мощность, а также пропускную способность памяти 3 ТБ/с на GPU и масштабируемость с помощью NVLink и NVSwitch, что позволяет выполнять аналитику данных с высокой производительностью и масштабированием для задач с большими наборами данных. В сочетании с NVIDIA Quantum-2 InfiniBand, ПО Magnum IO, Spark 3.0 с ускорением на основе GPU и NVIDIA RAPIDS^™ платформа NVIDIA для дата-центров позволяет ускорить эти ресурсоемкие задачи, обеспечивая непревзойденную производительность и энергоэффективность.

Готовность к развертыванию на предприятии

IT-менеджеры стремятся обеспечить максимально эффективное использование (как пиковое, так и среднее) вычислительных ресурсов в дата-центре. Они часто используют динамическую реконфигурацию вычислительных ресурсов, чтобы правильно распределить их для используемых нагрузок.

Технология Multi-Instance GPU (MIG) второго поколения в H100 позволяет максимально использовать каждый графический процессор, безопасно разделив его на семь отдельных инстансов. Благодаря поддержке конфиденциальных вычислений H100 обеспечивает безопасное сквозное многопользовательское использование, что идеально подходит для сред поставщиков облачных услуг (CSP).

H100 с MIG позволяет руководителям инфраструктур стандартизировать свою инфраструктуру с ускорением на основе GPU и обеспечить гибкое распределение ресурсов GPU с большей степенью детализации, чтобы безопасно предоставить разработчикам необходимый объем ускоренных вычислений и оптимальное использование всех ресурсов GPU.

Подробнее о MIG

Встроенные конфиденциальные вычисления

Современные решения для конфиденциальных вычислений основаны на CPU, которые слишком ограничены для ресурсоемких задач, таких как ИИ и высокопроизводительные вычисления. NVIDIA Confidential Computing – это встроенная функция безопасности архитектуры NVIDIA Hopper™, которая делает H100 первым в мире ускорителем с возможностями конфиденциальных вычислений. Пользователи могут защищать конфиденциальность и целостность своих данных и используемых приложений с доступом к беспрецедентному ускорению на основе GPU H100. Это создает аппаратную доверенную среду выполнения (TEE), которая защищает и изолирует всю нагрузку, выполняемую на одном графическом процессоре H100, нескольких GPU H100 в узле или отдельных инстансах MIG. Приложения с ускорением на основе GPU могут работать без изменений в TEE, и их не нужно разбивать на разделы. Пользователи могут сочетать мощь ПО NVIDIA для ИИ и HPC с безопасностью аппаратного корня доверия, поддерживаемого в NVIDIA Confidential Computing.

Подробнее о NVIDIA Confidential Computing

The convergence of GPU and SmartNIC.

NVIDIA H100 CNX combines the power of H100 with the advanced networking capabilities of the NVIDIA ConnectX^®-7 smart network interface card (SmartNIC) in a single, unique platform. This convergence delivers unparalleled performance for GPU-powered input/output (IO)-intensive workloads, such as distributed AI training in the enterprise data center and 5G processing at the edge.

Learn More About NVIDIA H100 CNX

Непревзойденная производительность для крупномасштабных задач ИИ и высокопроизводительных вычислений

GPU с тензорными ядрами Hopper ляжет в основу архитектуры NVIDIA Grace Hopper CPU+GPU, специально созданной для ускоренных вычислений терабайтного масштаба и обеспечивающей 10-кратный рост производительности при работе с крупными моделями ИИ и высокопроизводительных вычислений. Процессор NVIDIA Grace использует гибкость Arm^® для создания архитектуры процессора и сервера с нуля для ускоренных вычислений. Графический процессор Hopper подключен к процессору Grace по ультраскоростному межкристальному интерфейсу NVIDIA, который обеспечивает пропускную способность 900 ГБ/с (в 7 раз быстрее по сравнению с PCIe Gen5). Этот инновационный дизайн обеспечит увеличение совокупной пропускной способности системы до 30 раз по сравнению с самыми быстродействующими из современных серверов и до 10 раз более высокую производительность для приложений, обрабатывающих терабайты данных.

Подробнее о NVIDIA Grace

См. спецификации продукта.

Форм-фактор	H100 SXM	H100 PCIe
FP64	34 терафлопс	26 терафлопс
Тензорное ядро для FP64	67 терафлопс	51 терафлопс
FP32	67 терафлопс	51 терафлопс
Тензорное ядро для TF32	989 терафлопс*	756 терафлопс*
Тензорное ядро для BFLOAT16	1979 терафлопс*	1513 терафлопс*
Тензорное ядро для FP16	1979 терафлопс*	1513 терафлопс*
Тензорное ядро для FP8	3958 терафлопс*	3026 терафлопс*
Тензорное ядро для INT8	3958 TOPS*	3026 TOPS*
Объем видеопамяти	80 ГБ	80 ГБ
Пропускная способность GPU	3,35 ТБ/с	2 ТБ/с
Декодеры	7 NVDEC 7 JPEG	7 NVDEC 7 JPEG
Максимальные требования по теплоотводу (TDP)	До 700 Вт (настраиваемая)	300–350 Вт (настраиваемая)
Комбинации Multi-Instance GPU	До 7 MIG с 10 ГБ каждый
Форм-фактор	SXM	PCIe Двухслотовый с воздушным охлаждением
Межсоединение	NVLink: 900 ГБ/с PCIe Gen5: 128 ГБ/с	NVLINK: 600 ГБ/с PCIe Gen5: 128 ГБ/с
Сервер	Сервер NVIDIA HGX^™ H100 на базе NVIDIA-Certified Systems^™ и решений партнеров с 4 или 8 графическими процессорами NVIDIA DGX^™ H100 с 8 графическими процессорами	Сервер на базе сертифицированных NVIDIA систем и решений партнеров с 1–8 графическими процессорами
NVIDIA AI Enterprise	Дополнительно	Входит в комплект

* Показано с разреженностью. Спецификации вдвое ниже без разреженности.

Предварительные спецификации. Могут быть изменены.

Подробный обзор архитектуры NVIDIA Hopper.

Читать статью