NVIDIA GB300 NVL72

AI 추론 시대를 위해 설계되었습니다.

지금 구매 가능

개요

테스트 타임 스케일링 추론 향상

NVIDIA GB300 NVL72는 72개의 NVIDIA Blackwell Ultra GPU와 36개의 Arm® 기반 NVIDIA Grace™ CPU를 단일 플랫폼에 통합한 완전 수랭식 랙 스케일 아키텍처를 갖추고 있습니다. 이 시스템은 NVIDIA Blackwell GPU 대비 FP4 Tensor Core 연산 밀도는 1.5배, 어텐션 성능은 2배 향상된 성능을 제공합니다. 테스트 타임 스케일링 추론과 AI 추론 작업을 위해 특별히 설계된 시스템입니다. GB300 NVL72로 가속되는 AI 팩토리는 NVIDIA Quantum-X800 InfiniBand 또는 Spectrum-X™ Ethernet, ConnectX-8 SuperNIC™, NVIDIA Mission Control 관리 기능을 기반으로, NVIDIA Hopper 기반 플랫폼 대비 전체 출력 성능을 최대 50배까지 끌어올릴 수 있습니다.

성능

전례 없는 수준으로 AI 팩토리 확장

DeepSeek R1 ISL = 32K, OSL = 8K, GB300 NVL72(FP4 Dynamo 세분화 포함). H100(FP8 인플라이트 배칭 포함). 예상 성능은 변경될 수 있습니다.

NVIDIA GB300 NVL72 플랫폼으로 차원이 다른 AI 추론 성능을 경험해 보십시오. GB300 NVL72는 Hopper에 비해 사용자 응답성(사용자당 TPS)이 10배 향상되고 처리량(메가와트(MW)당 TPS)이 5배 향상되었습니다. 이러한 발전이 결합되어 AI 팩토리의 전체 출력이 무려 50배 향상되는 놀라운 성능 향상을 이뤄냅니다.

기능

기술적 혁신

AI 추론

테스트 시간 확장 및 AI 추론은 서비스 품질과 처리량을 극대화하는 데 필요한 컴퓨팅을 증가시킵니다. NVIDIA Blackwell Ultra의 Tensor 코어는 Blackwell GPU 대비 2배 향상된 어텐션 레이어 가속화와 1.5배 더 많은 초당 AI 컴퓨팅 부동 소수점 연산(FLOPS)을 갖추고 있습니다.

288GB의 HBM3e

메모리 용량이 클수록 배치 크기 조정과 처리량 성능을 극대화할 수 있습니다. NVIDIA Blackwell Ultra GPU는 1.5배 더 큰 HBM3e 메모리와 추가된 AI 컴퓨팅을 함께 제공하여 가장 긴 컨텍스트 길이에 대한 AI 추론 처리량을 향상합니다.

NVIDIA Blackwell 아키텍처

NVIDIA Blackwell 아키텍처는 가속 컴퓨팅 분야에서 획기적인 발전을 제공하여 탁월한 성능, 효율성, 확장성을 갖춘 새로운 시대를 열어가고 있습니다.

NVIDIA ConnectX-8 SuperNIC

NVIDIA ConnectX-8 SuperNIC의 입출력(IO) 모듈은 2개의 ConnectX-8 장치를 호스팅하여, NVIDIA GB300 NVL72의 각 GPU에 초당 800기가비트(Gb/s)의 네트워크 연결을 제공합니다. 이 제품은 NVIDIA Quantum-X800 InfiniBand 또는 Spectrum-X 이더넷 네트워킹 플랫폼을 통해 동급 최고의 원격 직접 메모리 액세스(RDMA) 기능을 제공하여 최고 수준의 AI 워크로드 효율성을 실현합니다.

NVIDIA Grace CPU

NVIDIA Grace CPU는 최신 데이터센터 워크로드를 위해 설계된 획기적인 프로세서입니다. 오늘날의 주요 서버 프로세서에 비해 2배 높은 에너지 효율로 탁월한 성능과 메모리 대역폭을 제공합니다.

5세대 NVIDIA NVLink

가속 컴퓨팅의 잠재력을 최대한 활용하려면 모든 GPU 간에 원활한 통신이 이루어져야 합니다. 5세대 NVIDIA NVLink™는 AI 추론 모델의 성능을 극대화하는 스케일업 인터커넥트 기술입니다.

NVIDIA Mission Control

NVIDIA Mission Control은 소프트웨어로 제공되는 세계적 수준의 전문성을 통해 워크로드부터 인프라에 이르기까지 AI 팩토리 운영을 간소화합니다. NVIDIA Grace Blackwell 데이터센터를 지원하여 추론과 학습을 위한 즉각적인 민첩성을 제공하는 동시에 인프라 복원력을 위한 풀스택 인텔리전스를 제공합니다. 모든 기업은 하이퍼스케일 효율성으로 AI를 실행하여 AI 실험을 간소화하고 가속화할 수 있습니다.

모델 실행과 필수 작업 자동화를 위한 플랫폼

NVIDIA DGX Station

NVIDIA GB300 Grace Blackwell Ultra 데스크톱 슈퍼칩을 기반으로 한 NVIDIA DGX Station™을 사용하여 최첨단 AI를 로컬로 개발하고 실행하세요. 대규모 학습 및 추론 워크로드를 가속화하다가 데스크사이드에서 데이터센터까지 손쉽게 확장하세요.

NVIDIA DGX Station에 대해 자세히 알아보기

NVIDIA GB300 Grace Blackwell Ultra 슈퍼칩

NVIDIA GB300 NVL72 랙 스케일 솔루션의 빌딩 블록으로, NVIDIA GB300 Grace Blackwell Ultra 슈퍼칩은 4개의 NVIDIA Blackwell Ultra GPU, 2개의 Grace CPU, 4개의 ConnectX-8 SuperNIC를 갖추고 있습니다. NVIDIA NVLink Switch 기술과 NVIDIA BlueField®-3 DPU를 통해, 18개의 슈퍼칩이 AI 추론 시대를 위해 특별히 구축된 하나의 거대한 GPU로 결합됩니다.

사양