Visit your regional NVIDIA website for local content, pricing, and where to buy partners specific to your country.
AI 및 HPC 워크로드 강화하기.
지금 바로 구매하실 수 있습니다.
데이터시트 | 사양
NVIDIA H200 Tensor 코어 GPU는 게임의 판도를 바꾸는 성능 및 메모리 기능으로 생성형 AI 및 HPC 워크로드를 강화합니다. HBM3e를 탑재한 최초의 GPU인 H200의 더 크고 빠른 메모리는 HPC 워크로드를 위한 과학 컴퓨팅을 발전시키는 동시에 생성형 AI 및 대규모 언어 모델(LLM)의 가속화를 촉진합니다.
NVIDIA HGX H200은 고급 메모리가 탑재된 NVIDIA H200 Tensor 코어 GPU를 탑재하여 생성형 AI 및 고성능 컴퓨팅 워크로드를 위한 방대한 양의 데이터를 처리합니다.
1.9배 더 빠른 속도
1.6배 더 빠른 속도
110배 더 빠른 속도
NVIDIA H200은 NVIDIA Hopper 아키텍처를 기반으로 초당 4.8테라바이트(TB/s)의 속도로 141기가바이트(GB)의 HBM3e 메모리를 제공하는 최초의 GPU로, 이는 1.4배 더 많은 메모리 대역폭을 가진 NVIDIA H100 Tensor 코어 GPU의 거의 두 배에 달하는 용량입니다. H200의 더 크고 빠른 메모리는 생성형 AI 및 LLM을 가속화하는 동시에 더 나은 에너지 효율과 낮은 총 소유 비용으로 HPC 워크로드를 위한 과학 컴퓨팅을 발전시킵니다.
예비 사양. 변경될 수 있습니다. Llama2 13B: ISL 128, OSL 2K | Throughput | H100 SXM 1x GPU BS 64 | H200 SXM 1x GPU BS 128 GPT-3 175B: ISL 80, OSL 200 | x8 H100 SXM GPUs BS 64 | x8 H200 SXM GPUs BS 128 Llama2 70B: ISL 2K, OSL 128 | Throughput | H100 SXM 1x GPU BS 8 | H200 SXM 1x GPU BS 32.
끊임없이 진화하는 AI 환경에서 비즈니스는 LLM에 의존하여 다양한 추론 요구 사항을 해결합니다. AI 추론 가속기는 대규모 사용자 기반용으로 규모별로 배포 시 가장 낮은 TCO로 최고 수준의 처리량을 제공해야 합니다.
H200은 Llama2와 같은 LLM을 처리할 때 H100 GPU에 비해 추론 속도를 최대 2배까지 향상시킵니다.
메모리 대역폭은 데이터 전송 속도를 높이고 복잡한 처리 병목 현상을 줄이므로 고성능 컴퓨팅 애플리케이션에 매우 중요합니다. 시뮬레이션, 과학 연구 및 인공지능과 같은 메모리 집약적인 HPC 애플리케이션의 경우 H200의 더 높은 메모리 대역폭을 사용하면 데이터에 효율적으로 액세스하고 조작할 수 있어 CPU에 비해 결과 도출 시간이 110배 더 빠릅니다.
예비 측정 성능으로 변경될 수 있습니다 HPC MILC- dataset NERSC Apex Medium | HGX H200 4-GPU | dual Sapphire Rapids 8480 HPC Apps- CP2K: dataset H2O-32-RI-dRPA-96points | GROMACS: dataset STMV | ICON: dataset r2b5 | MILC: dataset NERSC Apex Medium | Chroma: dataset HMC Medium | Quantum Espresso: dataset AUSURF112 | 1x H100 | 1x H200.
예비 측정 성능으로 변경될 수 있습니다 Llama2 70B: ISL 2K, OSL 128 | Throughput | H100 1x GPU BS 8 | H200 1x GPU BS 32
H200의 도입으로 에너지 효율성 및 TCO가 새로운 수준에 도달했습니다. 이러한 최첨단 기술은 H100 Tensor 코어 GPU와 동일한 전력 프로파일 내에서 비교할 수 없는 성능을 제공합니다. 더 빠를 뿐만 아니라 더욱 친환경적인 AI 공장과 슈퍼컴퓨팅 시스템은 AI 및 과학 커뮤니티를 발전시키는 경제적 우위를 제공합니다.
NVIDIA H200 NVL은 유연한 구성이 필요한 저전력 공랭식 엔터프라이즈 랙 설계에 이상적이며, 크기에 관계없이 모든 AI 및 HPC 워크로드에 가속화를 제공합니다. NVIDIA NVLink™로 최대 4개가 연결된 GPU와 1.5배 메모리 증가로 거대 언어 모델(LLM) 추론을 최대 1.7배까지 가속화할 수 있으며, HPC 애플리케이션은 H100 NVL보다 최대 1.3배 더 높은 성능을 제공합니다.
NVIDIA H200 NVL은 5년 간의 NVIDIA AI Enterprise 구독과 함께 제공되며 엔터프라이즈 AI 지원 플랫폼을 구축하는 방법을 간소화합니다. H200은 컴퓨터 비전, 음성 AI, 검색 증강 생성(RAG) 등을 포함한 생산 준비가 된 생성형 AI 솔루션에 대한 AI 개발 및 배포를 가속화합니다. NVIDIA AI Enterprise는 엔터프라이즈 생성형 AI 배포 속도를 높이기 위해 설계된 사용하기 쉬운 마이크로서비스 세트인 NVIDIA NIM™을 포함하고 있습니다. 배포는 엔터프라이즈급 보안, 관리 가능성, 안정성 및 지원을 함께 제공합니다. 이를 통해 성능에 최적화된 AI 솔루션이 더 빠른 비즈니스 가치와 실행 가능한 통찰력을 제공하게 됩니다.
1 예비 사양입니다. 변경될 수 있습니다. 2 희소성 포함.
이 제품이 출시되면 알려주세요.