가장 강력한 엔드 투 엔드 AI 슈퍼컴퓨팅 플랫폼입니다.
대규모 데이터 세트, 폭발적인 모델 크기 및 복잡한 시뮬레이션에는 매우 빠른 인터커넥트 및 완전히 가속화된 소프트웨어 스택을 지원하는 다중 GPU가 필요합니다. NVIDIA HGX™ AI 슈퍼컴퓨팅 플랫폼은 NVIDIA GPU, NVIDIA® NVLink®, NVIDIA InfiniBand 네트워킹의 완전한 성능과 NVIDIA NGC™ 카탈로그의 완전히 최적화된 NVIDIA AI 및 HPC 소프트웨어 스택을 결합하여 최고의 애플리케이션 성능을 제공합니다. NVIDIA HGX는 엔드 투 엔드 성능과 유연성을 통해 연구원과 과학자가 시뮬레이션, 데이터 분석 및 AI를 결합하여 과학적 진전을 이끌어내도록 지원합니다.
NVIDIA HGX는 NVIDIA A100 Tensor 코어 GPU를 고속 인터커넥트와 결합하여 세계에서 가장 강력한 확장 서버를 구축합니다. 16개의 A100 GPU를 사용하는 HGX에는 최대 1.3테라바이트(TB)의 GPU 메모리 및 초당 2TB(TB/s) 이상의 메모리 대역폭이 지원되어 전례 없는 수준의 가속화를 보여줍니다.
이전 세대와 비교하여, HGX는 Tensor Float 32(TF32)와 FP64를 통한 2.5배의 HPC 속도 향상을 통해 최대 20배의 AI 속도 향상을 제공합니다. NVIDIA HGX는 경이로운 10페타플롭스를 제공하며 AI 및 HPC를 위한 세계에서 가장 강력한 가속 확장 서버 플랫폼을 구성합니다.
완전한 테스트를 거쳤고 간편하게 배포할 수 있는 HGX는 파트너 서버에 통합되어 보장된 성능을 제공합니다. HGX 플랫폼은 SXM GPU가 있는 4GPU 및 8GPU HGX 베이스보드로 사용할 수 있으며, 주류 서버에 최고의 컴퓨팅 성능을 제공하는 모듈식 배포 옵션을 위한 PCIe GPU로도 사용할 수 있습니다.
DLRM 트레이닝
HugeCTR 프레임워크의 DLRM, 정밀도 = FP16 | NVIDIA A100 80GB 배치 크기 = 48 | NVIDIA A100 40GB 배치 크기 = 32 | NVIDIA V100 32GB 배치 크기 = 32.
딥러닝 모델은 크기와 복잡성이 폭발적으로 증가하고 있어 대량의 메모리, 방대한 컴퓨팅 성능, 그리고 확장성을 위한 빠른 인터커넥트가 필요합니다. 고속 올 투 올 GPU 통신을 제공하는 NVIDIA NVSwitch™가 탑재된 HGX는 최첨단 AI 모델을 처리할 수 있습니다. A100 80GB GPU 사용 시 GPU 메모리가 두 배로 증가하므로 단일 HGX에서 최대 1.3TB의 메모리를 사용할 수 있습니다. 대규모 데이터 테이블이 있는 DLRM(Deep Learning Recommendation Model) 등의 가장 큰 모델에서 새로 등장하는 워크로드는 A100 40GB GPU 기반의 HGX보다 최대 3배 가속화됩니다.
빅데이터 분석 벤치마크 | 10TB 데이터세트의 분석 소매 쿼리 30개, ETL, ML, NLP | V100 32GB, RAPIDS/Dask | A100 40GB 및 A100 80GB, RAPIDS/Dask/BlazingSQL
머신 러닝 모델은 중요한 인사이트를 얻기 위해 초대규모 데이터 세트를 로드하고 변환하여 처리해야 합니다. 최대 1.3TB의 통합 메모리와 NVSwitch와의 올 투 올 GPU 통신을 지원하는 A100 80GB GPU 기반의 HGX는 실행 가능한 인사이트를 신속하게 도출하기 위해 막대한 데이터 세트를 로드하고 계산하는 기능을 갖추었습니다.
A100 80GB는 빅데이터 분석 벤치마크에서 A100 40GB보다 2배 더 높은 처리량으로 인사이트를 제공하여 데이터세트 크기가 엄청 거대해진 요즘 워크로드에 적합합니다.
HPC 애플리케이션은 매초 어마어마한 양의 데이터를 계산해야 합니다. 각 서버 노드의 컴퓨팅 밀도를 증가시키면 필요한 서버의 수가 대폭 감소되어 데이터센터 소모 비용, 전력 및 공간이 막대하게 절감되는 효과를 누릴 수 있습니다. 시뮬레이션의 경우 고차원 행렬 곱셈 연산은 수많은 주변 장치에서 데이터를 가져올 수 있는 프로세서가 필요하기에 NVIDIA NVLink로 연결된 GPU가 이상적입니다. HPC 애플리케이션도 A100에서 TF32를 활용하여 4년 만에 단정밀도의 고밀도 매트릭스 곱셈 연산에서 최대 11배 높은 처리량을 달성할 수 있습니다.
A100 80GB GPU 기반의 HGX는 재료 시뮬레이션인 Quantum Espresso에서 A100 40GB GPU에 2배의 처리량 증가를 제공하므로 인사이트를 더 빠르게 얻을 수 있습니다.
최고 HPC 앱
애플리케이션 가속의 기하 평균 대 P100: 벤치마크 애플리케이션: Amber[PME-Cellulose_NVE], Chroma[szscl21_24_128], GROMACS[ADH Dodec], MILC[Apex Medium], NAMD[stmv_nve_cuda], PyTorch(BERT Large Fine Tuner], Quantum Espresso[AUSURF112-jR]. Random Forest FP32[make_blobs(160000 x 64 : 10)], TensorFlow[ResNet-50], VASP 6[Si Huge] | GPU 노드(듀얼 소켓 CPU와 4개의 NVIDIA P100, V100 또는 A100 GPU 포함).
Quantum Espresso
Quantum Espresso는 CNT10POR8 데이터 세트, 정밀도 = FP64를 사용하여 측정했습니다.
NVIDIA HGX는 각각 40GB나 80GB의 GPU 메모리를 갖춘 A100 GPU 또는 80GB의 GPU 메모리를 갖춘 4개나 8개의 H100 GPU가 탑재된 단일 베이스보드에서 사용할 수 있습니다. 4GPU 구성은 NVIDIA NVLink와 완전히 인터커넥트되며, 8GPU 구성은 NVIDIA NVSwitch와 인터커넥트됩니다. NVIDIA NVLink 스위치 시스템을 사용하면 최대 32개의 HGX H100 8GPU 시스템을 최대 256GPU 크기의 클러스터에 결합할 수 있습니다. 2개의 HGX A100 8GPU 베이스보드는 NVSwitch 인터커넥트로 결합되어 강력한 16GPU 단일 노드를 생성할 수 있습니다.
HGX는 배포가 용이한 모듈식 옵션을 위한 PCIe 폼 팩터로도 사용할 수 있으며, 메인스트림 서버에 최고의 컴퓨팅 성능을 제공합니다.
이처럼 하드웨어와 소프트웨어의 강력한 조합은 최고급 AI 슈퍼컴퓨팅 플랫폼의 토대가 됩니다.
HGX를 사용하면 NVIDIA 네트워킹을 포함하여 데이터 전송을 가속화 및 오프로드할 수 있으며 컴퓨팅 리소스를 완전히 활용하게 하는 것도 가능합니다. 스마트 어댑터와 스위치는 지연 시간을 줄이고, 효율성을 개선하며, 보안을 향상하고 데이터센터 자동화를 간소화하여 엔드 투 엔드 애플리케이션 성능을 가속화할 수 있습니다. 데이터센터는 컴퓨팅의 새로운 단위이며 HPC 네트워킹은 전체 데이터센터에서 애플리케이션 성능을 확장하는 데 중요한 역할을 합니다. NVIDIA InfiniBand는 소프트웨어 정의 네트워킹, 인-네트워크 컴퓨팅 가속화, RDMA(Remote Direct Memory Access), 그리고 가장 빠른 속도 및 피드를 통해 그 기반을 닦고 있습니다.
NVIDIA HGX-1 and HGX-2 are reference architectures that standardize the design of data centers accelerating AI and HPC. Built with NVIDIA SXM2 V100 boards, with NVIDIA NVLink and NVSwitch interconnect technologies, HGX reference architectures have a modular design that works seamlessly in hyperscale and hybrid data centers to deliver up to 2 petaFLOPS of compute power for a quick, simple path to AI and HPC.