속도와 확장성이 향상된 상호 연결의 필요성

최근 떠오르고 있는 1조 매개 변수 모델을 비롯한 AI 및 HPC(고성능 컴퓨팅)에서 컴퓨팅 수요가 증가함에 따라 모든 GPU 간의 원활한 고속 통신이 가능한 멀티 노드, 멀티 GPU 시스템의 필요성이 높아지고 있습니다. 비즈니스 속도를 충족할 수 있는 가장 강력한 엔드 투 엔드 컴퓨팅 플랫폼을 구축하려면 빠르고 확장 가능한 상호 연결이 필요합니다.

NVIDIA A100 PCIe with NVLink GPU-to-GPU connection
NVIDIA A100 with NVLink GPU-to-GPU connections

NVLink 성능

NVLink Performance

NVIDIA NVSwitch로 GPU 완전히 연결

3세대 NVIDIA NVSwitch는 NVLink의 고급 통신 기능을 구축하여 컴퓨팅 집약적 워크로드에 더 높은 대역폭과 지연 시간 절감을 제공합니다. 고속의 집합 연산을 지원하기 위해 각각의 NVSwitch에는 네트워크 내 감소 및 멀티캐스트 가속화를 위한 NVIDIA SHARP(Scalable Hierarchical Aggregation Reduction Protocol)용 엔진이 장착된 64개의 NVLink 포트가 있습니다.

Fully Connect GPUs with NVIDIA NVSwitch
NVLink and NVSwitch Work Together

NVLink와 NVSwitch가 함께 작동하는 방식

NVLink는 서버 내의 멀티 GPU 입출력(IO)을 확장하는 GPU 간 직접 상호 연결입니다. NVSwitch는 여러 NVLink를 연결하여 단일 노드 및 노드 간 전체 NVLink 속도에서 올 투 올 GPU 통신을 제공합니다.    

NVIDIA는 NVLink와 NVSwitch를 결합하여 최초의 산업 전반 AI 벤치마크인 MLPerf 1.1을 획득했습니다.

조 단위 매개변수 모델을 교육하기 위한 스케일업

NVSwitch를 사용하면 노드 간 NVLink 연결을 확장하여 원활하고 높은 대역폭의 멀티 노드 GPU 클러스터를 생성함으로써 데이터센터 크기의 GPU를 효과적으로 형성할 수 있습니다. 서버 외부에 NVSwitch의 두 번째 계층을 추가하면 NVLink 네트워크는 최대 256개의 GPU를 연결할 수 있고 57.6TB/s의 놀라운 올 투 올 대역폭으로 대형 AI 작업도 빠르게 해결할 수 있습니다.

Scale-Up to Train Trillion Parameter Models
NVIDIA NVLink Switch

NVIDIA NVLink Switch

NVIDIA NVLink Switch는 128개의 NVLink 포트를 갖추고 있으며 3.2 TB/s의 논블로킹 스위칭 용량을 갖추고 있습니다. 랙 스위치는 외부 4세대 NVLink 접속을 지원하는 NVIDIA DGX 및 NVIDIA HGX 시스템에서 고대역폭과 짧은 레이텐시를 제공하도록 설계되었습니다.

엔터프라이즈에서 엑사스케일로 확장

비교할 수 없는 성능을 제공하는 완전한 연결

NVSwitch는 단일 서버 노드에서 8개~16개의 완전히 연결된 GPU를 지원하는 최초의 노드 간 스위치 아키텍처입니다. 3세대 NVSwitch는 놀라운 900GB/s의 속도로 모든 GPU 쌍을 상호 연결합니다. 완전한 올 투 올 커뮤니케이션을 지원합니다. GPU는 최대 15페타플롭스의 딥 러닝 컴퓨팅 성능을 갖춘 단일 고성능 가속기로 사용할 수 있습니다.

가장 강력한 AI 및 HPC 플랫폼

NVLink 및 NVSwitch는 완전한 NVIDIA 데이터센터 솔루션의 필수 구성 요소로, 해당 솔루션은 NVIDIA AI Enterprise 소프트웨어 제품군과 NVIDIA NGC™ 카탈로그의 하드웨어, 네트워킹, 소프트웨어, 라이브러리 및 최적화된 AI 모델 및 애플리케이션을 통합합니다. 연구원은 가장 강력한 엔드 투 엔드 AI 및 HPC 플랫폼을 통해 실제 결과를 제공하고 솔루션을 프로덕션에 배포하여 모든 규모의 전례 없는 가속화를 제공할 수 있습니다.

사양

  • NVLink

    NVLink

  • NVSwitch

    NVSwitch

  • 서버 간 NVLink 및 NVSwitch

    서버 간 NVLink 및 NVSwitch

  2세대 3세대 4세대
총 NVLink 대역폭 300GB/s 600GB/s 900GB/s
GPU별 최대 연결 수 6 12 18
지원되는 NVIDIA 아키텍처 NVIDIA Volta 아키텍처 NVIDIA Ampere 아키텍처 NVIDIA Hopper 아키텍처
  1세대 2세대 3세대
직접 연결/노드를 지원하는 GPU 수량 최대 8개 최대 8개 최대 8개
NVSwitch GPU 간 대역폭 300GB/s 600GB/s 900GB/s
총 집계 대역폭 2.4TB/s 4.8TB/s 7.2TB/s
지원되는 NVIDIA 아키텍처 NVIDIA Volta 아키텍처 NVIDIA Ampere 아키텍처 NVIDIA Hopper 아키텍처
  서버 간 NVLink 및 NVSwitch
직접 연결을 지원하는 GPU 수량 최대 256개
NVSwitch GPU 간 대역폭 900GB/s
총 집계 대역폭 57.6TB/s
인 네트워크 감소 NVSwitch의 SHARP 감소
핵심 소프트웨어 지원 CUDA®, CUDA-X, Magnum IO
지원되는 NVIDIA 아키텍처 NVIDIA Hopper 아키텍처

NVIDIA Hopper 아키텍처에 대해 알아보세요.

NVIDIA Hopper 아키텍처와 NVIDIA H100 Tensor 코어 GPU의 구현에 대해 자세히 살펴보세요.