전 세계 AI 인프라를 위한 엔진이 엄청난 성능 향상을 이루었습니다.
NVIDIA Hopper™ 아키텍처를 통한 가속 컴퓨팅의 또 다른 대규모 도약에 대해 알아보세요. Hopper는 소규모 엔터프라이즈에서 엑사스케일 고성능 컴퓨팅(HPC) 및 매개 변수가 조 단위인 AI까지 아우르는 모든 데이터센터의 다양한 워크로드를 안전하게 확장하여 뛰어난 혁신가들이 인류 역사상 가장 빠른 속도로 평생의 과업을 성취할 수 있도록 지원합니다.
이제 AI를 엔터프라이즈에 도입하는 것이 주류가 되었으며, 조직에는 이 새로운 시대로 가속화할 엔드 투 엔드 AI 지원 인프라가 필요합니다.
메인스트림 서버용 NVIDIA H100 Tensor 코어 GPU에는 NVIDIA AI Enterprise 소프트웨어 제품군이 함께 제공되어 최상의 성능으로 AI 채택을 간소화합니다.
최첨단 TSMC 4N 프로세스를 사용하여 800억 개 이상의 트랜지스터로 구축된 Hopper는 NVIDIA H100 Tensor 코어 GPU를 지원하는 획기적인 5가지 혁신을 제공합니다. 이 혁신들이 서로 결합하여 이전 세대보다 30배 빠른 놀라운 속도로 세계 최대의 생성 언어 모델인 NVIDIA Megatron 530B 챗봇의 AI 추론을 제공합니다.
NVIDIA Hopper 아키텍처는 AI 모델의 훈련을 가속하도록 설계된 트랜스포머 엔진을 통해 Tensor 코어 기술을 발전시킵니다. Hopper Tensor 코어는 FP8과 FP16 정밀도를 혼합 적용하여 트랜스포머의 AI 계산을 획기적으로 가속할 수 있습니다. 또한 Hopper에서는 TF32, FP64, FP16, INT8 정밀도의 부동 소수점 연산(FLOPS)을 이전 세대의 3배로 늘렸습니다. 트랜스포머 엔진 및 4세대 NVIDIA® NVLink®와 결합된 Hopper Tensor 코어는 HPC 및 AI 워크로드에 최고 수준의 속도 향상을 제공합니다.
비즈니스의 속도로 움직이려면 엑사스케일 HPC 및 매개 변수가 조 단위인 AI 모델이 규모별로 가속할 수 있도록 서버 클러스터의 모든 GPU 간에 빠르고 원활한 통신이 필요합니다.
4세대 NVLink는 스케일업 인터커넥트입니다. NVLink 스위치 시스템은 새로운 외부 NVLink 스위치와 결합하여 GPU 당 양방향 900GB/s 속도로 서버 간의 멀티 GPU 입력/출력(IO)을 가능하게 합니다. 이는 PCIe Gen5의 7배 이상의 대역폭이기도 합니다. NVLink 스위치 시스템은 최대 256개의 접속 H100 클러스터를 지원하며 Ampere의 InfiniBand HDR보다 9배 높은 대역폭을 제공합니다.
또한 NVLink는 이전에는 Infiniband에서만 지원되었던 네트워크 내 컴퓨팅인 SHARP를 지원하여 57.6TB/s의 All2All 대역폭을 제공하면서 FP8 희소성 AI 컴퓨팅의 1 엑사플롭(exaFLOP)이라는 놀라운 성능을 제공할 수 있게 되었습니다.
데이터는 저장 공간에 저장되고 네트워크를 통해 전송되는 동안에는 암호화되지만, 처리되는 동안에는 보호되지 않습니다. NVIDIA 컨피덴셜 컴퓨팅은 사용 중인 데이터와 애플리케이션을 보호하여 이러한 격차를 해소합니다. NVIDIA Hopper 아키텍처는 세계 최초로 NVIDIA 컨피덴셜 컴퓨 기능을 탑재한 가속 컴퓨팅 플랫폼을 도입했습니다.
강력한 하드웨어 기반 보안을 통해 사용자는 온프레미스, 클라우드, 엣지에서 애플리케이션을 실행할 수 있으며, 사용 중인 애플리케이션 코드와 데이터를 허가되지 않은 엔티티가 보거나 수정할 수 없다고 확신할 수 있습니다. 이를 통해 데이터와 애플리케이션의 기밀성과 무결성을 보호하는 동시에 AI 훈련, AI 추론, HPC 워크로드를 위한 H100 GPU의 전례 없는 가속에 액세스할 수 있습니다.
MIG(Multi-Instance GPU)를 사용하면 GPU를 자체 메모리, 캐시, 컴퓨팅 코어가 있는 더 작고 완전히 격리된 여러 인스턴스로 분할할 수 있습니다. Hopper 아키텍처는 최대 7개의 GPU 인스턴스에 걸쳐 가상화된 환경에서 멀티 테넌트 및 멀티 사용자 구성을 지원하여 MIG를 더욱 향상하고, 하드웨어 및 하이퍼바이저 수준에서 기밀 컴퓨팅으로 각 인스턴스를 안전하게 격리합니다. 각 MIG 인스턴스에 대한 전용 비디오 디코더는 공유 인프라에서 안전하고 처리량이 높은 지능형 영상 분석(IVA)을 제공합니다. 또한 관리자는 Hopper의 동시 MIG 프로파일링을 통해 적합한 크기의 GPU 가속을 모니터링하고 사용자를 위한 리소스 할당을 최적화할 수 있습니다.
워크로드가 적은 연구원의 경우 전체 CSP 인스턴스를 대여하기보다는 MIG를 사용하여 GPU의 일부를 안전하게 격리하는 동시에 데이터를 저장, 전송, 컴퓨팅 시 안전하게 보호할 수 있습니다.
동적 프로그래밍은 복잡한 재귀 문제를 더 단순한 하위 문제로 세분화하여 해결하는 알고리즘 기술입니다. 나중에 다시 계산할 필요가 없도록 하위 문제의 결과를 저장함으로써 기하급수적인 문제 해결의 시간과 복잡성을 줄입니다. 동적 프로그래밍은 일반적으로 광범위한 사용 사례에서 사용됩니다. 예를 들어 플로이드-워셜은 운송 및 배송 차량의 최단 경로를 매핑하는 데 사용할 수 있는 경로 최적화 알고리즘입니다. 스미스-워터맨 알고리즘은 DNA 서열 정렬 및 단백질 접힘 애플리케이션에 사용됩니다.
Hopper의 DPX 명령은 동적 프로그래밍 알고리즘을 기존의 듀얼 소켓 CPU 전용 서버 대비 40배, NVIDIA Ampere 아키텍처 GPU 대비 7배 가속화합니다. 이를 통해 질병 진단 및 라우팅 최적화 시간뿐 아니라 그래프 분석 시간까지 획기적으로 단축할 수 있습니다.
예비 사양이며 향후 변경될 수 있습니다. HGX H100 4-GPU와 듀얼 소켓 32 코어 IceLake의 DPX 지침 비교