향상된 멀티 GPU 프로세싱
AI 및 고성능 컴퓨팅(HPC)에서의 컴퓨팅 수요가 증가함에 따라 GPU 시스템이 함께 하나의 거대한 가속기 역할을 할 수 있도록 GPU 간의 원활한 연결이 가능한 멀티 GPU 시스템에 대한 필요성이 커지고 있습니다. 하지만 표준인 PCIe의 제한된 대역폭으로 인해 병목 현상이 발생하는 경우가 잦습니다. 가장 강력한 엔드 투 엔드 컴퓨팅 플랫폼을 구축하려면 속도와 확장성이 더욱 향상된 상호연결이 필요합니다.
NVIDIA® NVLink®는 GPU 간 고속 직접 상호 연결입니다. NVIDIA NVSwitch™는 여러 NVLink를 통합함으로써 NVIDIA HGX™ A100과 같은 단일 노드 내에서 올 투 올 GPU 통신을 최대 NVLink 속도로 제공하여 한 차원 높은 상호 연결성을 제공합니다. NVIDIA는 NVLink와 NVSwitch를 조합하여 AI 성능을 효율적으로 여러 GPU로 확장하고 최초의 범산업 AI 벤치마크인 MLPerf 0.6을 획득할 수 있었습니다.
GPU 간 연결을 위한 NVLink가 지원되는 NVIDIA A100 PCle
NVLink GPU 간 연결을 지원하는 NVIDIA A100
NVSwitch 토폴로지 다이어그램은 간단하게 이해할 수 있도록 두 GPU 간의 연결을 보여줍니다. 8장 또는 16장의 GPU는 모두 같은 방식으로 NVSwitch를 통해 올 투 올 연결됩니다.
NVIDIA NVLink 기술은 멀티 GPU 시스템 구성을 위해 더 높은 대역폭, 더 많은 링크, 개선된 확장성을 제공함으로써 상호 연결 문제를 해결합니다. 하나의 NVIDIA A100 Tensor 코어 GPU는 최대 12개의 3세대 NVLink 연결을 지원하여 600GB/s의 총 대역폭을 구현하며 이는 PCIe Gen 4 대역폭의 거의 10배에 해당합니다.
NVIDIA DGX™ A100 과 같은 서버는 이 기술을 활용하여 초고속 딥 러닝 트레이닝을 위한 더 높은 확장성을 제공합니다. NVLink는 A100 PCle 2장의 GPU 구성에서도 지원됩니다.
NVIDIA A100의 NVLink는 기존 세대 대비 GPU 간의 통신 대역폭을 두 배로 확장하므로 연구원들은 복잡한 문제의 해결을 위해 더 크고 정교한 애플리케이션을 사용할 수 있습니다.
멀티 GPU 시스템 수준에서 PCIe 대역폭이 병목 현상을 일으키는 경우가 잦아 딥 러닝의 신속한 도입은 속도와 확장성이 향상된 상호 연결 기술에 대한 수요를 증가시켰습니다. 딥 러닝 워크로드의 확장을 위해서는 대폭 증가된 대역폭과 감소된 지연 시간이 요구됩니다.
NVIDIA NVSwitch는 이 문제를 해결하기 위해 NVLink의 고급 통신 기능을 기반으로 구축됩니다. 단일 서버에서 더 많은 GPU를 지원하며 이러한 GPU 사이에 완전한 대역폭 연결성을 보장하는 GPU 패브릭으로 딥 러닝 성능을 다음 단계로 끌어올립니다. 각 GPU의 NVLink 12개가 NVSwitch로 완전히 연결되어 올투올(All-to-all) 고속 통신을 지원합니다.
NVLink 및 NVSwitch는 완전한 NVIDIA 데이터센터 솔루션의 구성 요소로, 이 솔루션은 하드웨어, 네트워킹, 소프트웨어, 라이브러리, 그리고 NGC™의 최적화된 AI 모델 및 애플리케이션을 통합합니다. 연구원은 가장 강력한 엔드 투 엔드 AI 및 HPC 플랫폼을 통해 실제 결과를 제공하고 솔루션을 프로덕션에 배포하여 모든 규모의 전례 없는 가속화를 제공할 수 있습니다.
NVSwitch는 단일 서버 노드에서 8개~16개의 완전히 연결된 GPU를 지원하는 최초의 노드 간 스위치 아키텍처입니다. 2세대 NVSwitch는 놀라운 600GB/s 속도로 모든 GPU 쌍 사이에 동시 통신을 지원합니다. 직접적인 GPU 피어 투 피어(Peer-to-per) 메모리 주소 지정으로 완전한 올 투 올 통신을 지원합니다. 이러한 16장의 GPU는 통합 메모리 공간과 최대 10페타플롭스의 딥 러닝 컴퓨팅 성능을 갖춘 단일 고성능 가속기로 사용될 수 있습니다.
AI 인프라를 위한 유니버설 시스템이자 NVIDIA A100 Tensor 코어 GPU를 기반으로 구축된 세계 최초의 AI 시스템인 NVIDIA DGX A100을 경험해보세요.