속도와 확장성이 향상된 상호 연결의 필요성

최근 떠오르고 있는 1조 매개 변수 모델을 비롯한 AI 및 HPC(고성능 컴퓨팅)에서 컴퓨팅 수요가 증가함에 따라 모든 GPU 간의 원활한 고속 통신이 가능한 멀티 노드, 멀티 GPU 시스템의 필요성이 높아지고 있습니다. 비즈니스 속도를 충족할 수 있는 가장 강력한 엔드 투 엔드 컴퓨팅 플랫폼을 구축하려면 빠르고 확장 가능한 상호 연결이 필요합니다.

NVIDIA NVlink를 통한 시스템 처리량 극대화

4세대 NVIDIA® NVLink® 기술은 멀티 GPU 시스템 구성에 1.5배 높은 대역폭과 향상된 확장성을 제공합니다. 하나의 NVIDIA H100 Tensor 코어 GPU는 최대 18개의 NVLink 연결을 지원하여 900GB/s의 총 대역폭을 구현하며, 이는 PCIe Gen5의 최대 7배 이상입니다.

NVIDIA DGX™ H100과 같은 서버는 이 기술을 활용하여 초고속 딥 러닝 트레이닝을 위한 더 높은 확장성을 제공합니다.

NVIDIA A100 PCIe with NVLink GPU-to-GPU connection

NVLink GPU 간 연결을 지원하는 NVIDIA H100 PCIe

NVIDIA A100 with NVLink GPU-to-GPU connections

NVLink GPU 간 연결을 지원하는 NVIDIA H100

NVLink 성능

NVLink Performance

NVIDIA H100의 NVLink는 GPU 간 통신 대역폭을 기존 세대 대비 1.5배로 확장하므로 연구원들은 복잡한 문제의 해결을 위해 더 크고 정교한 애플리케이션을 사용할 수 있습니다.

NVIDIA NVSwitch로 GPU 완전히 연결

3세대 NVIDIA NVSwitch™는 NVLink의 고급 통신 기능을 구축하여 컴퓨팅 집약적 워크로드에 더 높은 대역폭과 지연 시간 절감을 제공합니다. 고속의 집합 연산을 지원하기 위해 각각의 NVSwitch에는 네트워크 내 감소 및 멀티캐스트 가속화를 위한 NVIDIA SHARP(Scalable Hierarchical Aggregation Reduction Protocol)™용 엔진이 장착된 64개의 NVLink 포트가 있습니다.

Fully Connect GPUs with NVIDIA NVSwitch

NVSwitch는 NVIDIA DGX H100 시스템의 8개의 GPU를 풀 대역폭 접속으로 클러스터 내에서 연계할 수 있도록 합니다.

NVLink and NVSwitch Work Together

NVLink와 NVSwitch가 함께 작동하는 방식

NVLink는 서버 내의 멀티 GPU 입출력(IO)을 확장하는 GPU 간 직접 상호 연결입니다. NVSwitch는 여러 NVLink를 연결하여 단일 노드 및 노드 간 전체 NVLink 속도에서 올 투 올 GPU 통신을 제공합니다.    

NVIDIA는 NVLink와 NVSwitch를 결합하여 최초의 산업 전반 AI 벤치마크인 MLPerf 1.1을 획득했습니다.

실제 기술 사용 사례 확인하기 

조 단위 매개변수 모델을 교육하기 위한 스케일업

NVSwitch를 사용하면 노드 간 NVLink 연결을 확장하여 원활하고 높은 대역폭의 멀티 노드 GPU 클러스터를 생성함으로써 데이터센터 크기의 GPU를 효과적으로 형성할 수 있습니다. 서버 외부에 NVSwitch의 두 번째 계층을 추가하면 NVLink 네트워크는 최대 256개의 GPU를 연결할 수 있고 57.6TB/s의 놀라운 올 투 올 대역폭으로 대형 AI 작업도 빠르게 해결할 수 있습니다.

NVIDIA H100에 대해 자세히 알아보기 
Scale-Up to Train Trillion Parameter Models
NVIDIA NVLink Switch

NVIDIA NVLink Switch

NVIDIA NVLink Switch는 128개의 NVLink 포트를 갖추고 있으며 3.2 TB/s의 논블로킹 스위칭 용량을 갖추고 있습니다. 랙 스위치는 외부 4세대 NVLink 접속을 지원하는 NVIDIA DGX 및 NVIDIA HGX™ 시스템에서 고대역폭과 짧은 레이텐시를 제공하도록 설계되었습니다.

NVIDIA DGX H100에 대해 자세히 알아보기 

엔터프라이즈에서 엑사스케일로 확장

비교할 수 없는 성능을 제공하는 완전한 연결

NVSwitch는 단일 서버 노드에서 8개~16개의 완전히 연결된 GPU를 지원하는 최초의 노드 간 스위치 아키텍처입니다. 3세대 NVSwitch는 놀라운 900GB/s의 속도로 모든 GPU 쌍을 상호 연결합니다. 완전한 올 투 올 커뮤니케이션을 지원합니다. GPU는 최대 15페타플롭스의 딥 러닝 컴퓨팅 성능을 갖춘 단일 고성능 가속기로 사용할 수 있습니다.

가장 강력한 AI 및 HPC 플랫폼

NVLink 및 NVSwitch는 완전한 NVIDIA 데이터센터 솔루션의 필수 구성 요소로, 해당 솔루션은 NVIDIA AI Enterprise 소프트웨어 제품군과 NVIDIA NGC™ 카탈로그의 하드웨어, 네트워킹, 소프트웨어, 라이브러리 및 최적화된 AI 모델 및 애플리케이션을 통합합니다. 연구원은 가장 강력한 엔드 투 엔드 AI 및 HPC 플랫폼을 통해 실제 결과를 제공하고 솔루션을 프로덕션에 배포하여 모든 규모의 전례 없는 가속화를 제공할 수 있습니다.

사양

  • NVLink

    NVLink

  • NVSwitch

    NVSwitch

  2세대 3세대 4세대
총 NVLink 대역폭 300GB/s 600GB/s 900GB/s
GPU별 최대 연결 수 6 12 18
지원되는 NVIDIA 아키텍처 NVIDIA Volta™ 아키텍처 NVIDIA Ampere 아키텍처 NVIDIA Hopper™ 아키텍처
  1세대 2세대 3세대
직접 연결/노드를 지원하는 GPU 수량 최대 8개 최대 8개 최대 8개
NVSwitch GPU 간 대역폭 300GB/s 600GB/s 900GB/s
총 집계 대역폭 2.4TB/s 4.8TB/s 7.2TB/s
지원되는 NVIDIA 아키텍처 NVIDIA Volta 아키텍처 NVIDIA Ampere 아키텍처 NVIDIA Hopper 아키텍처

예비 사양은 변경될 수 있습니다.

NVIDIA Hopper 아키텍처에 대해 알아보세요.

NVIDIA Hopper 아키텍처와 NVIDIA H100 Tensor 코어 GPU의 구현에 대해 자세히 살펴보세요.

백서 읽기
제품
기술
소프트웨어
리소스