NVLINK AND NVSWITCH

향상된 멀티 GPU 프로세싱

NVLink와 NVSwitch가 함께 작동하는 방식

NVIDIA NVLink

NVIDIA A100 PCIe with NVLink GPU-to-GPU connection
NVIDIA A100 with NVLink GPU-to-GPU connections

NVIDIA NVSwitch

The NVSwitch topology diagram

시스템 처리량 극대화

3세대 NVLINK

NVIDIA NVLink 기술은 멀티 GPU 시스템 구성을 위해 더 높은 대역폭, 더 많은 링크, 개선된 확장성을 제공함으로써 상호 연결 문제를 해결합니다. 하나의 NVIDIA A100 Tensor 코어 GPU는 최대 12개의 3세대 NVLink 연결을 지원하여 600GB/s의 총 대역폭을 구현하며 이는 PCIe Gen 4 대역폭의 거의 10배에 해당합니다.

NVIDIA DGX™ A100 과 같은 서버는 이 기술을 활용하여 초고속 딥 러닝 트레이닝을 위한 더 높은 확장성을 제공합니다. NVLink는 A100 PCle 2장의 GPU 구성에서도 지원됩니다.

NVLink Performance

NVLink in NVIDIA A100

NVIDIA NVSwitch

NVSwitch - 완전히 연결된 NVLink

멀티 GPU 시스템 수준에서 PCIe 대역폭이 병목 현상을 일으키는 경우가 잦아 딥 러닝의 신속한 도입은 속도와 확장성이 향상된 상호 연결 기술에 대한 수요를 증가시켰습니다. 딥 러닝 워크로드의 확장을 위해서는 대폭 증가된 대역폭과 감소된 지연 시간이 요구됩니다.

NVIDIA NVSwitch는 이 문제를 해결하기 위해 NVLink의 고급 통신 기능을 기반으로 구축됩니다. 단일 서버에서 더 많은 GPU를 지원하며 이러한 GPU 사이에 완전한 대역폭 연결성을 보장하는 GPU 패브릭으로 딥 러닝 성능을 다음 단계로 끌어올립니다. 각 GPU의 NVLink 12개가 NVSwitch로 완전히 연결되어 올투올(All-to-all) 고속 통신을 지원합니다.

 

가장 강력한 엔드 투 엔드 AI 및 HPC 데이터센터 플랫폼

NVLink 및 NVSwitch는 완전한 NVIDIA 데이터센터 솔루션의 구성 요소로, 이 솔루션은 하드웨어, 네트워킹, 소프트웨어, 라이브러리, 그리고 NGC의 최적화된 AI 모델 및 애플리케이션을 통합합니다. 연구원은 가장 강력한 엔드 투 엔드 AI 및 HPC 플랫폼을 통해 실제 결과를 제공하고 솔루션을 프로덕션에 배포하여 모든 규모의 전례 없는 가속화를 제공할 수 있습니다.

비교할 수 없는 성능을 제공하는 완전한 연결

NVSwitch는 단일 서버 노드에서 8개~16개의 완전히 연결된 GPU를 지원하는 최초의 노드 간 스위치 아키텍처입니다. 2세대 NVSwitch는 놀라운 600GB/s 속도로 모든 GPU 쌍 사이에 동시 통신을 지원합니다. 직접적인 GPU 피어 투 피어(Peer-to-per) 메모리 주소 지정으로 완전한 올 투 올 통신을 지원합니다. 이러한 16장의 GPU는 통합 메모리 공간과 최대 10페타플롭스의 딥 러닝 컴퓨팅 성능을 갖춘 단일 고성능 가속기로 사용될 수 있습니다.

사양

  • NVIDIA NVLink

    NVIDIA NVLink

  • NVIDIA NVSwitch

    NVIDIA NVSwitch

  2세대 3세대
총 NVLink 대역폭 300GB/s 600GB/s
GPU별 최대 링크 수 6 12
지원되는 NVIDIA 아키텍처 NVIDIA Volta NVIDIA Ampere 아키텍처
  1세대 2세대
직접 연결이 지원되는 GPU 수 최대 16개 최대 16개
NVSwitch GPU 간 대역폭 300GB/s 600GB/s
총 집계 대역폭 4.8TB/s 9.6TB/s
지원되는 NVIDIA 아키텍처 NVIDIA Volta NVIDIA Ampere 아키텍처

지금 시작하기

AI 인프라를 위한 유니버설 시스템이자 NVIDIA A100 Tensor 코어 GPU를 기반으로 구축된 세계 최초의 AI 시스템인 NVIDIA DGX A100을 경험해보세요.