NVLink 및 NVLink Switch
모델에 대규모 데이터세트를 빠르게 공급하고 GPU 간 데이터를 빠르게 교환하기 위한 고속 멀티 GPU 통신의 기본 구성 요소입니다.
더 빠른 속도로 확장할 수 있는 인터커넥트 기술의 필요성
엑사스케일 컴퓨팅과 매개 변수가 조 단위인 AI 모델의 잠재력을 최대한 활용하려면 서버 클러스터 내의 모든 GPU 간 통신이 빠르고 원활해야 합니다. 5세대 NVIDIA® NVLink®는 수조 개의 매개 변수 AI 모델의 성능을 가속하는 확장형 인터커넥트 기술을 지원합니다.
NVIDIA NVlink를 통한 시스템 처리량 극대화
5세대 NVLink는 대규모 멀티 GPU 시스템의 확장성을 대폭 개선합니다. 단일 NVIDIA Blackwell Tensor 코어 GPU는 최대 18개의 NVLink 100GB/s 연결을 지원하여 1.8TB/s의 총 대역폭을 구현합니다. 이는 이전 세대의 2배 이상, PCIe Gen5의 14배 이상입니다. GB200 NVL72와 같은 서버 플랫폼은 이 기술을 활용하여 오늘날의 가장 복잡한 대형 모델에 더 큰 확장성을 제공합니다.
NVLink 성능
NVIDIA H100의 NVLink는 GPU 간 통신 대역폭을 기존 세대 대비 1.5배로 확장하므로 연구원들은 복잡한 문제의 해결을 위해 더 크고 정교한 애플리케이션을 사용할 수 있습니다.
NVLink 통신을 통한 GPU 처리량 향상
NVIDIA NVLink 및 NVLink Switch로 GPU 완전 연결
NVLink는 서버 내에서 멀티 GPU 입출력(IO)을 확장하는 GPU 간 직접적 1.8TB/s 양방향 상호 연결 기술입니다. NVIDIA NVLink Switch 칩은 여러 NVLink를 연결하여 단일 랙 및 랙 간 전체 NVLink 속도에서 올 투 올 GPU 통신을 제공합니다.
고속의 집합 연산을 지원하기 위해 각각의 NVLink Switch에는 네트워크 내 감소 및 멀티캐스트 가속화를 위한 NVIDIA SHARP™(Scalable Hierarchical Aggregation Reduction Protocol)용 엔진이 있습니다.
NVLink Switch 시스템으로 수조 개의 매개 변수 모델 훈련
NVLink Switch를 사용하면 노드 간 NVLink 연결을 확장하여 원활하고 높은 대역폭의 멀티 노드 GPU 클러스터를 생성함으로써 데이터센터 크기의 GPU를 효과적으로 형성할 수 있습니다. NVIDIA NVLink Switch는 대규모 모델 병렬 처리를 위해 하나의 NVL72에서 130TB/s의 GPU 대역폭을 지원합니다. NVLink를 사용하는 멀티 서버 클러스터는 증가된 컴퓨팅에 맞춰 GPU 통신을 확장하므로 NVL72는 단일 8GPU 시스템보다 9배 많은 수의 GPU를 지원할 수 있습니다.
NVIDIA NVLink Switch
NVIDIA NVLink Switch에는 14.4TB/s의 비차단 스위칭 용량을 갖춘 144개의 NVLink 포트가 있습니다. 랙 스위치는 외부 5세대 NVLink 연결을 지원하는 NVIDIA GB200 NVL72 시스템에서 높은 대역폭과 낮은 레이턴시를 제공하도록 설계되었습니다.
엔터프라이즈에서 엑사스케일로 확장
비교할 수 없는 성능을 제공하는 완전한 연결
NVLink Switch는 비차단 컴퓨팅 패브릭에서 최대 576개의 완전히 연결된 GPU를 지원할 수 있는 최초의 랙 수준 스위치 칩입니다. NVLink Switch는 놀라운 1,800GB/s의 속도로 모든 GPU 쌍을 상호 연결합니다. 완전한 올 투 올 커뮤니케이션을 지원합니다. GB200 NVL72에 있는 72개의 GPU는 최대 1.4엑사플롭스의 AI 컴퓨팅 성능을 갖춘 단일 고성능 가속기로 사용할 수 있습니다.
가장 강력한 AI 및 HPC 플랫폼
NVLink 및 NVLink Switch는 하드웨어, 네트워킹, 소프트웨어, 라이브러리, NVIDIA AI 엔터프라이즈 소프트웨어 제품군 및 NVIDIA NGC™ 카탈로그의 최적화된 AI 모델 및 애플리케이션을 통합하는 완벽한 NVIDIA 데이터센터 솔루션의 필수 구성 요소입니다. 가장 강력한 엔드투엔드 AI 및 HPC 플랫폼으로, 연구자들이 실제 결과를 제공하고 솔루션을 프로덕션에 배포하여 모든 규모에서 전례 없는 가속화를 주도할 수 있도록 지원합니다.
사양
-
NVLink
-
NVLink Switch
| 2세대 | 3세대 | 4세대 | 5세대 | |
|---|---|---|---|---|
| GPU당 NVLink 대역폭 | 300GB/s | 600GB/s | 900GB/s | 1,800GB/s |
| GPU별 최대 연결 수 | 6 | 12 | 18 | 18 |
| 지원되는 NVIDIA 아키텍처 | NVIDIA Volta™ 아키텍처 | NVIDIA Ampere 아키텍처 | NVIDIA Hopper™ 아키텍처 | NVIDIA Blackwell 아키텍처 |
| 1세대 | 2세대 | 3세대 | NVLink Switch | |
|---|---|---|---|---|
| NVLink 도메인 내 직접 연결을 지원하는 GPU 수량 | 최대 8개 | 최대 8개 | 최대 8개 | 최대 576개 |
| NVSwitch GPU 간 대역폭 | 300GB/s | 600GB/s | 900GB/s | 1,800GB/s |
| 총 집계 대역폭 | 2.4TB/s | 4.8TB/s | 7.2TB/s | 130TB/s |
| 지원되는 NVIDIA 아키텍처 | NVIDIA Volta™ 아키텍처 | NVIDIA Ampere 아키텍처 | NVIDIA Hopper™ architecture | NVIDIA Blackwell 아키텍처 |
예비 사양은 변경될 수 있습니다.
NVIDIA Blackwell 아키텍처에 대해 자세히 알아보세요.