NVIDIA GB200 NVL72

생성형 AI의 새로운 시대를 지원합니다.

개요
주요 내용
GB200 NVL4
기능
사양

개요
주요 내용
GB200 NVL4
기능
사양

실시간 1조 개 매개 변수 모델 활용

NVIDIA GB200 NVL72는 랙 스케일 방식과 수랭식으로 설계되었으며, 36개의 Grace CPU와 72개의 Blackwell GPU를 연결합니다. 이 제품은 72개의 GPU로 구성된 NVIDIA NVLink™ 도메인을 통해 단일 대규모 GPU처럼 작동하며, 실시간으로 수조 단위의 매개변수를 가진 거대 언어 모델(LLM) 추론을 30배 더 빠르게 제공합니다.

GB200 Grace Blackwell 슈퍼칩은 NVIDIA GB200 NVL72의 핵심 구성 요소로, 2개의 고성능 NVIDIA Blackwell Tensor 코어 GPU와 NVIDIA Grace™ CPU를 NVLink-C2C 인터커넥트를 통해 2개의 Blackwell GPU에 연결합니다.

실시간 1조 매개 변수 추론 및 훈련을 위한 Blackwell 랙 스케일 아키텍처

NVIDIA GB200 NVL72는 단일 랙의 엑사스케일 컴퓨터입니다. 72개의 NVIDIA Blackwell GPU가 역대 최대 규모의 NVIDIA NVLink 도메인으로 상호 연결된 NVLink 스위치 시스템은 AI 및 고성능 컴퓨팅(HPC) 워크로드를 위해 초당 130테라바이트(TB/s)의 저지연 GPU 통신을 제공합니다.

기술 블로그

하이라이트

차세대 AI 및 가속 컴퓨팅 강화

LLM 추론

30배 NVIDIA H100 GPU 대비

LLM 훈련

4배 와 H100

높은 에너지 효율

25배 와 H100

데이터 처리

18배 와 CPU

LLM 추론 및 에너지 효율성: TTL = 50밀리초(ms) 실시간, FTL = 5초, 32,768 입력/1,024 출력, NVIDIA HGX™ H100 스케일 오버 InfiniBand(IB) 대 GB200 NVL72, 훈련 1.8T MOE 4096x HGX H100 스케일 오버 IB 대 456x GB200 NVL72 스케일 오버 IB. 클러스터 크기: 32,768
TPC-H Q4 쿼리에서 파생된 스내피/디플레이트 압축을 사용한 데이터베이스 병합 및 집계 워크로드. x86, H100 단일 GPU 및 GB200 NLV72의 단일 GPU와 Intel Xeon 8480+에 대한 사용자 맞춤형 쿼리 구현 비교
예상 성능은 변경될 수 있습니다.

실시간 LLM 추론

GB200 NVL72는 최첨단 기능과 2세대 Transfomer Engine을 탑재하여 FP4 AI를 가능하게 합니다. 이 제품을 5세대 NVIDIA NVLink와 결합하면 수조 개의 매개변수가 있는 언어 모델에서 실시간 LLM 추론 성능을 30배 향상시킵니다. 이러한 발전은 새로운 마이크로스케일링 형식을 도입한 차세대 Tensor 코어를 통해 가능해졌으며, 이는 고처리량, 저지연 시간 AI 추론에 최적화되어 있습니다. 또한 GB200 NVL72는 NVLink와 수랭식 기술을 사용하여 통신 병목 현상을 극복할 수 있는 거대한 단일 72GPU 랙을 만듭니다.

대규모 훈련

GB200 NVL72는 FP8 정밀도를 지원하는 더 빠른 2세대 트랜스포머 엔진을 탑재해, 대규모 거대 언어 모델(LLM)의 학습을 최대 4배 빠르게 수행할 수 있습니다. 이 획기적인 발전은 1.8TB/s의 GPU 간 인터커넥트, InfiniBand 네트워킹, NVIDIA Magnum IO™ 소프트웨어를 제공하는 5세대 NVLink으로 가능해졌습니다.

에너지 효율적인 인프라

수랭식 GB200 NVL72 랙은 데이터센터의 탄소 발자국과 에너지 소비량을 줄여줍니다. 수랭식 기술은 컴퓨팅 밀도를 높이고, 설치 공간을 줄이며, 대규모 NVLink 도메인 아키텍처를 통한 고대역폭, 저지연 GPU 통신을 용이하게 합니다. NVIDIA H100 공랭식 인프라와 비교했을 때 GB200은 물 소비량을 줄이면서 동일한 전력에서 25배 더 높은 성능을 제공합니다.

데이터 처리

데이터베이스는 엔터프라이즈에서 대량의 데이터를 취급, 처리, 분석하는 데 중요한 역할을 합니다. GB200은 NVIDIA Blackwell 아키텍처의 고대역폭 메모리 성능, NVLink-C2C, 그리고 전용 디컴프레션 엔진을 활용하여 주요 데이터베이스 쿼리 속도를 CPU 대비 18배 향상시키고, TCO 효율을 5배 개선합니다.

NVIDIA GB200 NVL4

NVIDIA GB200 NVL4는 NVLink-C2C 상호 연결을 통해 2개의 Grace CPU와 4개의 NVIDIA NVLink Blackwell GPU를 통합하는 브릿지 구조로, HPC와 AI 융합 컴퓨팅의 미래를 열며 혁신적인 성능을 제공합니다. 액체 냉각식 NVIDIA MGX™ 모듈형 서버와 호환되는 이 제품은 과학 컴퓨팅, 과학 연구용 AI 학습 및 추론 애플리케이션에서 이전 세대 대비 최대 2배의 성능을 제공합니다.

데이터시트 읽기

특징

기술 혁신

Blackwell 아키텍처

NVIDIA Blackwell 아키텍처는 가속 컴퓨팅을 한 단계 도약시키며, 뛰어난 성능과 효율성, 확장성을 통해 컴퓨팅의 새로운 시대를 열어갑니다.

NVIDIA Grace CPU

NVIDIA Grace CPU는 AI, 클라우드, HPC 애플리케이션을 실행하는 최신 데이터센터를 위해 설계된 획기적인 프로세서입니다. 오늘날의 주요 서버 프로세서에 비해 2배 높은 에너지 효율로 탁월한 성능과 메모리 대역폭을 제공합니다.

5세대 NVIDIA NVLink

엑사스케일 컴퓨팅과 수조 개의 매개변수가 있는 AI 모델의 잠재력을 최대한 활용하려면 서버 클러스터의 모든 GPU 간에 빠르고 원활한 통신이 필수적입니다. 5세대 NVLink는 조 단위 또는 수조 단위의 매개변수가 있는 AI 모델에 대해 가속화된 성능을 제공하는 확장형 인터커넥트입니다.

NVLink 및 NVLink Switch에 대해 알아보기

NVIDIA 네트워킹

데이터센터의 네트워크는 분산된 AI 모델 훈련과 생성형 AI 성능을 뒷받침하는 핵심 기반으로, AI 발전과 성능을 촉진하는 데 매우 중요한 역할을 합니다. NVIDIA Quantum-X800 InfiniBand, NVIDIA Spectrum™-X800 Ethernet, NVIDIA® BlueField®-3 DPU는 수백, 수천 개의 Blackwell GPU에서 효율적인 확장성을 구현하여 애플리케이션 성능을 최적화합니다.

엔드 투 엔드 네트워킹 솔루션 알아보기

새로운 산업 혁명을 위한 AI 팩토리

사양

GB200 NVL72 사양¹

	GB200 NVL72	GB200 Grace Blackwell 슈퍼칩
컨피규레이션	36 Grace CPU \| 72 Blackwell GPU	1 Grace CPU \| 2 Blackwell GPU
FP4 코어²	1,440 \| 720 PFLOPS	40 \| 20 PFLOPS
FP8/FP6 코어²	720 플롭스	20PFLOPS
INT8 Tensor 코어²	720 POPS	20POPS
FP16/BF16 Tensor 코어²	360 PFLOPS	10PFLOPS
TF32 Tensor 코어²	180 PFLOPS	5PFLOPS
FP32	5,760 TFLOPS	160 TFLOPS
FP64 / FP64 Tensor 코어	2,880 TFLOPS	80 TFLOPS
GPU 메모리 대역폭	최대 13.4TB HBM3e \| 576TB/s	최대 372GB HBM3e \| 16TB/s
NVLink 메모리 대역폭	130Tb/s	3.6TB/s
CPU 코어 수	2592 Arm® Neoverse V2 코어	72 Arm Neoverse V2 코어
CPU 메모리 대역폭	최대 17TB LPDDR5X \| 최대 14TB/s	최대 480GB LPDDR5X \| 최대 512GB/s
1. 희소 \| 밀도 사양. 2. 희소성 기반 사양. 밀도는 희소 사양의 절반으로 표시됩니다.

시작하기

뉴스레터 구독하기

등록하고 NVIDIA Blackwell 출시 시기를 받아보세요.

알림 받기

NVIDIA GB300 NVL72

NVIDIA GB300 NVL72는 72개의 NVIDIA Blackwell Ultra GPU와 36개의 Arm® 기반 NVIDIA Grace™ CPU를 단일 플랫폼에 통합한 완전 액체 냉각식 랙 스케일 아키텍처를 갖추고 있으며, 테스트 시점 확장 추론과 AI 추론 작업을 위해 특별히 설계되었습니다. NVIDIA Quantum-X800 InfiniBand 또는 Spectrum-X 이더넷, ConnectX-8 SuperNIC, NVIDIA Mission Control 관리 기능을 활용해 GB300 NVL72로 가속화된 AI 팩토리는 NVIDIA Hopper 기반 플랫폼 대비 최대 50배 향상된 AI 팩토리 출력 성능을 제공합니다.

자세히 알아보기