NVIDIA DGX B200
AI 팩토리를 위한 기반.
변화하는 혁신으로 지원하는 혁신적인 성능
NVIDIA DGX™ B200은 AI 여정의 모든 단계에서 규모와 관계없이 기업을 위한 개발에서 배포로 전환하는 파이프라인용 통합 AI 플랫폼입니다. 5세대 NVIDIA® NVLink™로 상호 연결된 8개의 NVIDIA Blackwell GPU를 탑재한 NVIDIA DGX B200은 이전 세대 시스템보다 3배 높은 훈련 성능과 15배 높은 추론 성능을 제공합니다. DGX B200은 NVIDIA Blackwell 아키텍처를 활용하여 거대 언어 모델(LLM), 추천 시스템 및 챗봇 등의 다양한 워크로드를 처리할 수 있어 AI 혁신을 가속화하고자 하는 기업에 이상적입니다.
이점
통합 AI 팩토리
성능
NVIDIA DGX B200으로 구동되는 차세대 성능
실시간 거대 언어 모델 추론
예상 성능은 변경될 수 있습니다. 토큰 간 지연 시간(TTL) = 실시간 50ms, 첫 번째 토큰 지연 시간(FTL) = 5초, 입력 시퀀스 길이 = 32,768, 출력 시퀀스 길이 = 1,028, GPU 성능 비교 결과, 8웨이 NVIDIA DGX H100 GPU 공랭식 8배와 8웨이 NVIDIA DGX B200 공랭식 1배 비교 .
강화된 AI 훈련 성능
예상 성능은 변경될 수 있습니다. 32,768개의 GPU 규모, 4,096배 8웨이 NVIDIA DGX H100 공랭식 클러스터: 400G IB 네트워크, 4,096배 8웨이 NVIDIA DGX B200 공랭식 클러스터: 400G IB 네트워크.
사양
NVIDIA DGX B200 사양
| GPU | 8x NVIDIA Blackwell GPU |
| GPU 메모리 | 총 1,440GB, 64TB/s HBM3e 대역폭 |
| 성능 | FP4 Tensor 코어: 144 PFLOPS | 72 PFLOPS* FP8 Tensor 코어: 72 PFLOPS** |
| NVIDIA NVSwitch | 2개 |
| NVIDIA NVLink 대역폭 | 총 14.4TB/s |
| 전력 소비 | 최대 14.3kW |
| CPU | Intel® Xeon® Platinum 8570 프로세서 2개 총 112개 코어, 2.1GHz(기본), 4GHz(최대 부스트) |
| 시스템 메모리 | 2 TB, 4 TB까지 확장 가능 |
| 네트워킹 | 싱글 포트 NVIDIA ConnectX-7 VPI 8개를 제공하는 OSFP 포트 4개
|
| 관리 네트워크 | 10 Gb/s 온보드 NIC(RJ45 포함) 100 Gb/s 듀얼 포트 이더넷 NIC RJ45가 포함된 호스트 베이스보드 관리 컨트롤러(BMC) |
| 스토리지 | OS: 2× 1.9TB NVMe M.2 내부 스토리지: 8x 3.84 TB NVMe U.2 |
| 소프트웨어 | NVIDIA AI Enterprise – 최적화된 AI 소프트웨어 NVIDIA Mission Control – NVIDIA Run:ai 기술을 활용한 AI 데이터센터 운영 및 조정 NVIDIA DGX OS / Ubuntu – 운영 체제 |
| 랙 장치(RU) | 10 RU |
| 시스템 크기 | 높이: 444mm(17.5인치) 너비: 482.2mm(19.0인치) 길이: 897.1mm(35.3인치) |
| 작동 온도 | 10-35°C (50-90°F) |
| 엔터프라이즈 지원 | 3년간 비즈니스 표준 하드웨어 및 소프트웨어 지원 |
|
*사양은 희소 | 밀집 기준으로 표시됩니다. |
|
리소스
모든 기업에 AI 팩토리 제공
NVIDIA DGX SuperPOD
NVIDIA DGX SuperPOD™는 모든 사용자와 워크로드를 위해 타협하지 않는 성능을 제공하는 턴키 AI 데이터센터 인프라 솔루션입니다. 모든 NVIDIA DGX 시스템으로 구성 가능한 DGX SuperPOD는 가장 까다로운 AI 학습 및 추론 워크로드를 처리할 수 있도록 확장 가능한 성능과 업계에서 입증된 결과를 갖춘 리더십급의 가속 인프라를 제공하여 IT가 성능을 저하시키지 않고 제공할 수 있도록 지원합니다.
NVIDIA Mission Control 소개
NVIDIA Mission Control은 소프트웨어로 제공되는 세계적 수준의 전문성을 통해 워크로드부터 인프라에 이르기까지 AI 팩토리 운영을 간소화합니다. NVIDIA Blackwell 데이터센터를 지원하여 추론과 학습에 즉각적인 민첩성을 제공하면서 인프라 복원을 위한 풀스택 인텔리전스를 제공합니다. 모든 기업은 하이퍼스케일 효율성으로 AI를 실행하여 AI 실험을 간소화하고 가속화할 수 있습니다.
NVIDIA DGX 플랫폼의 가치 극대화
NVIDIA 엔터프라이즈 서비스는 NVIDIA DGX 인프라에 대한 지원, 교육 및 전문 서비스를 제공합니다. AI 여정의 모든 단계에서 NVIDIA 전문가가 함께하므로 엔터프라이즈 서비스는 프로젝트를 빠르고 성공적으로 시작하도록 지원할 수 있습니다
NVIDIA DGX 고객의 독점 교육 혜택을 받으세요
NVIDIA의 Deep Learning Institute (DLI) AI 전문가들이 NVIDIA DGX 고객에게 특별히 제공하는 이 특별 기술 교육을 통해 AI로 최첨단 혁신을 더 빠르게 이룰 수 있는 방법을 알아보세요.
시작하기