AI 및 HPC 워크로드 강화를 위한 세계에서 가장 강력한 GPU입니다.
이 제품이 출시되면 알려주세요.
데이터시트 | 사양
NVIDIA H200 Tensor 코어 GPU는 게임의 판도를 바꾸는 성능 및 메모리 기능으로 생성형 AI 및 HPC 워크로드를 강화합니다. HBM3e를 탑재한 최초의 GPU인 H200의 더 크고 빠른 메모리는 HPC 워크로드를 위한 과학 컴퓨팅을 발전시키는 동시에 생성형 AI 및 대규모 언어 모델(LLM)의 가속화를 촉진합니다.
NVIDIA Hopper™ 아키텍처 기반의 NVIDIA HGX H200은 고급 메모리가 탑재된 NVIDIA H200 Tensor 코어 GPU를 탑재하여 생성형 AI 및 고성능 컴퓨팅 워크로드를 위한 방대한 양의 데이터를 처리합니다.
1.9배 더 빠른 속도
1.6배 더 빠른 속도
110배 더 빠른 속도
NVIDIA H200은 NVIDIA Hopper 아키텍처를 기반으로 초당 4.8테라바이트(TB/s)의 속도로 141기가바이트(GB)의 HBM3e 메모리를 제공하는 최초의 GPU로, 이는 1.4배 더 많은 메모리 대역폭을 가진 NVIDIA H100 Tensor 코어 GPU의 거의 두 배에 달하는 용량입니다. H200의 더 크고 빠른 메모리는 생성형 AI 및 LLM을 가속화하는 동시에 더 나은 에너지 효율과 낮은 총 소유 비용으로 HPC 워크로드를 위한 과학 컴퓨팅을 발전시킵니다.
예비 측정 성능으로 변경될 수 있습니다 Llama2 13B: ISL 128, OSL 2K | Throughput | H100 1x GPU BS 64 | H200 1x GPU BS 128 GPT-3 175B: ISL 80, OSL 200 | x8 H100 GPUs BS 64 | x8 H200 GPUs BS 128 Llama2 70B: ISL 2K, OSL 128 | Throughput | H100 1x GPU BS 8 | H200 1x GPU BS 32.
끊임없이 진화하는 AI 환경에서 비즈니스는 LLM에 의존하여 다양한 추론 요구 사항을 해결합니다. AI 추론 가속기는 대규모 사용자 기반용으로 규모별로 배포 시 가장 낮은 TCO로 최고 수준의 처리량을 제공해야 합니다.
H200은 Llama2와 같은 LLM을 처리할 때 H100 GPU에 비해 추론 속도를 최대 2배까지 향상시킵니다.
메모리 대역폭은 데이터 전송 속도를 높이고 복잡한 처리 병목 현상을 줄이므로 고성능 컴퓨팅 애플리케이션에 매우 중요합니다. 시뮬레이션, 과학 연구 및 인공지능과 같은 메모리 집약적인 HPC 애플리케이션의 경우 H200의 더 높은 메모리 대역폭을 사용하면 데이터에 효율적으로 액세스하고 조작할 수 있어 CPU에 비해 결과 도출 시간이 110배 더 빠릅니다.
예비 측정 성능으로 변경될 수 있습니다 HPC MILC- dataset NERSC Apex Medium | HGX H200 4-GPU | dual Sapphire Rapids 8480 HPC Apps- CP2K: dataset H2O-32-RI-dRPA-96points | GROMACS: dataset STMV | ICON: dataset r2b5 | MILC: dataset NERSC Apex Medium | Chroma: dataset HMC Medium | Quantum Espresso: dataset AUSURF112 | 1x H100 | 1x H200.
예비 측정 성능으로 변경될 수 있습니다 Llama2 70B: ISL 2K, OSL 128 | Throughput | H100 1x GPU BS 8 | H200 1x GPU BS 32
H200의 도입으로 에너지 효율성 및 TCO가 새로운 수준에 도달했습니다. 이러한 최첨단 기술은 H100 Tensor 코어 GPU와 동일한 전력 프로파일 내에서 비교할 수 없는 성능을 제공합니다. 더 빠를 뿐만 아니라 더욱 친환경적인 AI 공장과 슈퍼컴퓨팅 시스템은 AI 및 과학 커뮤니티를 발전시키는 경제적 우위를 제공합니다.
Single-node HGX measured performance | A100 April 2021 | H100 TensorRT-LLM Oct 2023 | H200 TensorRT-LLM Oct 2023
NVIDIA Hopper 아키텍처는 이전 아키텍처에 비해 전례 없는 성능 향상을 제공하며 NVIDIA TensorRT-LLM™과 같은 강력한 오픈 소스 라이브러리의 최근 릴리스를 포함하여 H100의 지속적인 소프트웨어 개선을 통해 기준을 계속 높이고 있습니다.
H200의 출시는 더욱 뛰어난 성능을 통해 그 기세를 이어갑니다. 이에 대한 투자를 통해 현재의 성능 리더십은 물론, 지원되는 소프트웨어에 대한 지속적인 개선을 통해 미래의 성능 리더십을 보장합니다.
NVIDIA AI Enterprise는 NVIDIA H200과 함께 AI 지원 플랫폼의 구축을 단순화하여 프로덕션 준비를 마친 생성형 AI, 컴퓨터 비전, 음성 AI 등의 AI 개발 및 배포를 가속화합니다. 또한 엔터프라이즈급 보안, 관리 용이성, 안정성 및 지원을 제공하여 실행 가능한 인사이트를 더 빠르게 수집하고 실질적인 비즈니스 가치를 더 빠르게 달성합니다.
1 Preliminary specifications. May be subject to change. 2 With sparsity.