NVIDIA GB200 NVL72

GB200 NVL72는 최첨단 기능과 2세대 Transformer Engine을 도입하여 FP4 AI를 구현하고 5세대 NVIDIA NVLink와 결합하면 1조 개 매개변수 언어 모델에 대해 30배 빠른 실시간 LLM 추론 성능을 제공합니다. 이러한 발전은 새로운 마이크로 스케일링 형식을 도입하여 높은 정확도와 더 많은 처리량을 제공하는 차세대 Tensor 코어를 통해 가능해졌습니다. 또한 GB200 NVL72는 NV링크와 액체 냉각을 사용하여 통신 병목 현상을 극복할 수 있는 단일 대규모 72-GPU 랙을 생성합니다.

GB200에는 FP8 정밀도를 갖춘 더 빠른 2세대 Transformer 엔진이 포함되어 있어 대규모 거대 언어 모델을 4배 더 빠르게 훈련할 수 있습니다. 이러한 혁신은 초당 1.8테라바이트(TB/s)의 GPU 간 인터커넥트, InfiniBand 네트워킹, NVIDIA Magnum IO™ 소프트웨어를 제공하는 5세대 NVLink를 통해 보완됩니다.

수냉식 GB200 NVL72 랙은 데이터센터의 탄소 발자국과 에너지 소비를 줄여줍니다. 수냉식 냉각은 컴퓨팅 밀도를 높이고, 상면 사용 공간을 줄이며, 대규모 NVLink 도메인 아키텍처와의 고대역폭, 저지연 GPU 통신을 용이하게 합니다. NVIDIA H100 공랭식 인프라에 비해 GB200은 동일한 전력으로 25배 더 높은 성능을 제공하면서 물 소비는 줄입니다.

데이터베이스는 기업의 대용량 데이터 처리, 처리 및 분석에서 중요한 역할을 합니다. GB200은 고대역폭 메모리 성능의 NVLink-C2C와 NVIDIA Blackwell 아키텍처의 전용 압축 해제 엔진을 활용하여 주요 데이터베이스 쿼리 속도를 CPU 대비 18배 향상시키고 TCO를 5배 절감합니다.