서버 내부 및 서버 간 고급 멀티 GPU 통신의 구성 요소입니다.
최근 떠오르고 있는 1조 매개 변수 모델을 비롯한 AI 및 HPC(고성능 컴퓨팅)에서 컴퓨팅 수요가 증가함에 따라 모든 GPU 간의 원활한 고속 통신이 가능한 멀티 노드, 멀티 GPU 시스템의 필요성이 높아지고 있습니다. 비즈니스 속도를 충족할 수 있는 가장 강력한 엔드 투 엔드 컴퓨팅 플랫폼을 구축하려면 빠르고 확장 가능한 상호 연결이 필요합니다.
4세대 NVIDIA® NVLink® 기술은 멀티 GPU 시스템 구성에 1.5배 높은 대역폭과 향상된 확장성을 제공합니다. 하나의 NVIDIA H100 Tensor 코어 GPU는 최대 18개의 NVLink 연결을 지원하여 900GB/s의 총 대역폭을 구현하며, 이는 PCIe Gen5의 최대 7배 이상입니다.
NVIDIA DGX™ H100과 같은 서버는 이 기술을 활용하여 초고속 딥 러닝 트레이닝을 위한 더 높은 확장성을 제공합니다.
NVLink GPU 간 연결을 지원하는 NVIDIA H100 PCIe
NVLink GPU 간 연결을 지원하는 NVIDIA H100
NVIDIA H100의 NVLink는 GPU 간 통신 대역폭을 기존 세대 대비 1.5배로 확장하므로 연구원들은 복잡한 문제의 해결을 위해 더 크고 정교한 애플리케이션을 사용할 수 있습니다.
3세대 NVIDIA NVSwitch™는 NVLink의 고급 통신 기능을 구축하여 컴퓨팅 집약적 워크로드에 더 높은 대역폭과 지연 시간 절감을 제공합니다. 고속의 집합 연산을 지원하기 위해 각각의 NVSwitch에는 네트워크 내 감소 및 멀티캐스트 가속화를 위한 NVIDIA SHARP(Scalable Hierarchical Aggregation Reduction Protocol)™용 엔진이 장착된 64개의 NVLink 포트가 있습니다.
NVSwitch는 NVIDIA DGX H100 시스템의 8개의 GPU를 풀 대역폭 접속으로 클러스터 내에서 연계할 수 있도록 합니다.
NVLink는 서버 내의 멀티 GPU 입출력(IO)을 확장하는 GPU 간 직접 상호 연결입니다. NVSwitch는 여러 NVLink를 연결하여 단일 노드 및 노드 간 전체 NVLink 속도에서 올 투 올 GPU 통신을 제공합니다.
NVIDIA는 NVLink와 NVSwitch를 결합하여 최초의 산업 전반 AI 벤치마크인 MLPerf 1.1을 획득했습니다.
NVSwitch를 사용하면 노드 간 NVLink 연결을 확장하여 원활하고 높은 대역폭의 멀티 노드 GPU 클러스터를 생성함으로써 데이터센터 크기의 GPU를 효과적으로 형성할 수 있습니다. 서버 외부에 NVSwitch의 두 번째 계층을 추가하면 NVLink 네트워크는 최대 256개의 GPU를 연결할 수 있고 57.6TB/s의 놀라운 올 투 올 대역폭으로 대형 AI 작업도 빠르게 해결할 수 있습니다.
NVIDIA NVLink Switch는 128개의 NVLink 포트를 갖추고 있으며 3.2 TB/s의 논블로킹 스위칭 용량을 갖추고 있습니다. 랙 스위치는 외부 4세대 NVLink 접속을 지원하는 NVIDIA DGX 및 NVIDIA HGX™ 시스템에서 고대역폭과 짧은 레이텐시를 제공하도록 설계되었습니다.
NVSwitch는 단일 서버 노드에서 8개~16개의 완전히 연결된 GPU를 지원하는 최초의 노드 간 스위치 아키텍처입니다. 3세대 NVSwitch는 놀라운 900GB/s의 속도로 모든 GPU 쌍을 상호 연결합니다. 완전한 올 투 올 커뮤니케이션을 지원합니다. GPU는 최대 15페타플롭스의 딥 러닝 컴퓨팅 성능을 갖춘 단일 고성능 가속기로 사용할 수 있습니다.
NVLink 및 NVSwitch는 완전한 NVIDIA 데이터센터 솔루션의 필수 구성 요소로, 해당 솔루션은 NVIDIA AI Enterprise 소프트웨어 제품군과 NVIDIA NGC™ 카탈로그의 하드웨어, 네트워킹, 소프트웨어, 라이브러리 및 최적화된 AI 모델 및 애플리케이션을 통합합니다. 연구원은 가장 강력한 엔드 투 엔드 AI 및 HPC 플랫폼을 통해 실제 결과를 제공하고 솔루션을 프로덕션에 배포하여 모든 규모의 전례 없는 가속화를 제공할 수 있습니다.
예비 사양은 변경될 수 있습니다.
NVIDIA Hopper 아키텍처와 NVIDIA H100 Tensor 코어 GPU의 구현에 대해 자세히 살펴보세요.