NDR 400Gb/s InfiniBand Архитектура

Экстремальная производительность для экзафлопсных вычислений эры ИИ

Рекордная производительность в сетевых коммуникациях

Седьмое поколение архитектуры NVIDIA InfiniBand, лежащее в основе коммутаторов NDR 400Gb/s InfiniBand, обеспечивает ученым и разработчикам ИИ высочайшую скорость сети для решения самых сложных задач. NDR InfiniBand предлагает поддержку программно-определяемых сетей и технологии In-Network Computing, удаленный прямой доступ к памяти (RDMA), продвинутое аппаратное ускорение, а также высокую скорость передачи данных в самых мощных суперкомпьютерах в мире.

nvidia-networking-ndr-technology-numbers-1cn-d

Расширение возможностей HPC, суперкомпьютеров и приложений для ИИ

Ускоренная технология In-Network Computing

Современным высокопроизводительным вычислительным (HPC), ИИ- и гипермасштабируемым инфраструктурам требуется быстрый обмен данными и умные сети для осуществления более эффективного и ускоренного анализа и сложного моделирования. NVIDIA Mellanox InfiniBand улучшает и расширяет применение технологии In-Network Computing с помощью предварительно сконфигурированных и программируемых вычислительных движков, таких как третье поколение SHARPv3, MPI Tag Matching, MPI All-to-All и программируемых ядер, обеспечивающих оптимальные затраты на узел и повышение эффективности инвестиций (ROI).

Технология In-Network Computing, ускоренная с помощью архитектуры NVIDIA Mellanox InfiniBand
Дата-центр на основе архитектуры NVIDIA Mellanox NDR InfiniBand с технологией SHARPv3

Неограниченная масштабируемость

NDR InfiniBand с технологией NVIDIA Mellanox SHARPv3 третьего поколения позволяет практически неограниченно масштабировать большие объемы данных через сеть и поддерживает выполнение до 64 одновременных потоков. Это позволяет ускорить ИИ-задачи в 32 раза по сравнению с прошлым поколением HDR InfiniBand. Аппаратные движки MPI All-to-All и MPI Tag Matching, наряду с улучшенным контролем перегрузок, адаптивной маршрутизацией и «самовосстанавливающимися»‎ сетями, позволяют усовершенствовать ИИ- и HPC-кластеры и ускорить их.

Высокая скорость передачи данных

Канальный адаптер хоста

Канальный адаптер хоста (HCA) NVIDIA ConnectX-7 NDR 400Gb/s InfiniBand обеспечивает высочайшую скорость сети для решения самых сложных задач.

Канальные адаптеры на стороне сервера (HCA) NDR InfiniBand с PCIe Gen4 и Gen5 поддерживают различные форм-факторы и одиночные и двойные порты 400 Гбит/с.

NDR InfiniBand HCA поддерживают усовершенствованную In-Network Computing с аппаратными движками MPI All-to-All и MPI Tag Matching, а также улучшенный QoS, в том числе адаптивную маршрутизацию и контроль перегрузок. HCA также включают в себя программируемые вычислительные движки, которые позволяют реализовать предварительную обработку данных и разгрузку приложений. Это обеспечивает высокую производительность и масштабируемость и оптимизирует совмещение вычислений и коммуникации.

Коммутаторы с фиксированной конфигурацией

Семейство коммутаторов с фиксированной конфигурацией NDR InfiniBand получит 64 порта для NDR или 128 портов для NDR200 на 32 физических OSFP-разъемах. Компактные коммутаторы высотой 1U имеют воздушное и жидкостное охлаждение, которым можно управлять как напрямую, так и внешне.

Коммутаторы с фиксированной конфигурацией NDR InfiniBand обладают совокупной двунаправленной пропускной способностью в 51,2 Тбит/с с рекордной производительностью более 66,5 миллиардов пакетов в секунду. Стоечный коммутатор InfiniBand поддерживает Fat Tree, DragonFly+, Torus, Hypercube и другие топологии..

Модульные коммутаторы

Семейство модульных коммутаторов NDR InfiniBand предлагает следующие конфигурации портов:

  • 2048 портов NDR (400 Гбит/с) или 4096 портов NDR200 (200 Гбит/с)
  • 1024 портов NDR (400 Гбит/с) или 2048 портов NDR200 (200 Гбит/с)
  • 512 портов NDR (400 Гбит/с) или 1024 портов NDR200 (200 Гбит/с)

Самый большой модульный коммутатор обеспечивает суммарную двунаправленную пропускную способность 1,64 петабита в секунду — в 5 раз выше, чем у предыдущего поколения.

Трансиверы и кабели

Семейство NDR InfiniBand позволяет использовать различные варианты подключения: трансиверы и коннекторы MPO, активные оптические кабели (ACC) и кабели для прямого медного подключения (DAC) с 1*2 и 1*4 сплиттерами. Это гарантирует максимальную гибкость в выборе любой топологии и наилучшую производительность.

Ведущие в мире показатели производительности сетей, масштабируемости и эффективности

Производительность

  • Пропускная способность каждого порта — 400 Гбит/с
  • 64 порта 400 Гбит/с или 128 портов 200 Гбит/c в одном коммутаторе
  • 2048 портов 400 Гбит/с или 4096 портов 200 Гбит/c в одном модульном коммутаторе
  • Более 66,5 млрд пакетов в секунду (двунаправленных) на одном коммутаторе

Бьем собственные рекорды

  • Двукратная пропускная способность порта по сравнению с HDR
  • В 3 раза большая плотность портов коммутатора по сравнению с HDR
  • Ускорение выполнения задач ИИ на коммутаторе в 32 раза по сравнению HDR
  • Более миллиона узлов 400 Гбит/c в сети DragonFly+ с коммутацией уровня 4, что в 6,5 раз больше, чем в HDR

Основные характеристики

  • Полная разгрузка сетей
  • RDMA, GPUDirect® RDMA, GPUDirect Storage
  • Программируемые движки с функцией In-Network Computing
  • Аппаратное ускорение All-to-All MPI
  • Аппаратное ускорение Tag Matching MPI
  • NVIDIA SHARPv3
  • овершенствованная адаптивная маршрутизация, контроль перегрузок и QoS
  • «Самовосстанавливающиеся» сети

Ознакомьтесь с полным обзором архитектуры и узнайте подробнее о NDR.