NVIDIA H200 Tensor コア GPU

AI と HPC のワークロードを強化する世界で最もパワフルな GPU。

この製品が発売開始になりましたらお知らせいたします。

世界で最もパワフルな GPU

NVIDIA H200 Tensor コア GPU は、市場を一変させるパフォーマンスとメモリ機能で生成 AI と HPC ワークロードを強化します。HBM3e を搭載した初の GPU である H200 の大容量かつ高速のメモリは、HPC ワークロードのための科学コンピューティングを推進しながら、生成 AI と大規模言語モデル (LLM) の高速化を促進します。

世界をリードする AI コンピューティングプラットフォームである Hopper を NVIDIA がスーパーチャージ

NVIDIA Hopper™ アーキテクチャをベースとする NVIDIA HGX H200 は、NVIDIA H200 Tensor コア GPU と高度なメモリを備え、生成 AI やハイパフォーマンスコンピューティングワークロードのために大量のデータを処理します。

プレスリリースを読む

ハイライト

新たなレベルのパフォーマンスを体験

LLama2 70B 推論

1.9倍の高速化

GPT3-175B 推論

1.6倍の高速化

高性能コンピューティング

110倍の高速化

利点

高性能、最高の効率

NVIDIA Hopper アーキテクチャをベースとする NVIDIA H200 は、毎秒 4.8 テラバイト (TB/s) で 141 ギガバイト (GB) の HBM3e メモリを提供する初の GPU です。これは、NVIDIA H100 Tensor コア GPU の約 2 倍の容量で、メモリ帯域幅は 1.4 倍です。H200 の大容量かつ高速なメモリは、生成 AI と LLM を加速し、エネルギー効率を向上させ、総所有コストを低減し、HPC ワークロードのための科学コンピューティングを前進させます。

高性能な LLM 推論でインサイトを引き出す

進化し続ける AI の世界では、企業はさまざまな推論のニーズに対応するために LLM を利用しています。AI 推論アクセラレータは、大規模なユーザーベース向けにデプロイする場合、最小の TCO で最高のスループットを実現する必要があります。

H200 は、Llama2 のような LLM を扱う場合、H100 GPU と比較して推論速度を最大 2 倍向上します。

NVIDIA の AI 推論プラットフォームの詳細を見る

ハイパフォーマンスコンピューティングをスーパーチャージ

メモリ帯域幅は、より高速なデータ転送を実現することで、ボトルネックとなる複雑な処理を削減するため、ハイパフォーマンスコンピューティングアプリケーションにとって極めて重要です。シミュレーション、科学研究、人工知能のようなメモリを大量に使用する HPC アプリケーションでは、 H200 の高いメモリ帯域幅が、データへのアクセスと操作を効率化し、CPU と比較して 110 倍の早さで結果を得ることができます。

ハイパフォーマンスコンピューティングの詳細を見る

準備段階で測定されたパフォーマンスです。変更される可能性があります
Llama2 70B: ISL 2K, OSL 128 | Throughput | H100 1x GPU BS 8 | H200 1x GPU BS 32

エネルギーと TCO の削減

H200 の導入により、エネルギー効率と TCO が新たなレベルに到達します。この最先端のテクノロジは、すべて H100 Tensor コア GPU と同じ電力プロファイル内で、かつてないパフォーマンスを提供します。AI ファクトリーとスーパーコンピューティングシステムは、高速なだけでなく、環境にも優しく、AI と科学のコミュニティを推進する経済的優位性を提供します。

持続可能なコンピューティングの詳細を見る

パフォーマンス

永続的なイノベーションが永続的なパフォーマンス向上をもたらす

Single-node HGX measured performance | A100 April 2021 | H100 TensorRT-LLM Oct 2023 | H200 TensorRT-LLM Oct 2023

NVIDIA Hopper アーキテクチャは、前世代から大きく進歩し、これまでにないパフォーマンスを提供しています。また、NVIDIA TensorRT-LLM™ のような強力なオープンソースライブラリの最新リリースを含む H100 によるソフトウェアの強化により、その水準を高め続けています。

H200 の登場により、パフォーマンスはさらに向上し続けます。これに投資することで、現在も、そして将来も、サポートされるソフトウェアの継続的な改善により、パフォーマンス面で優位に立つことができます。

エンタープライズ対応: AI ソフトウェアが開発とデプロイを合理化

NVIDIA AI Enterprise と NVIDIA H200 の組み合わせにより、AI 対応プラットフォームの構築が簡素化され、本番環境に対応する生成 AI、コンピュータービジョン、スピーチ AI などの AI 開発およびデプロイが加速します。また、企業レベルのセキュリティ、管理性、安定性、サポートを提供し、実用的なインサイトをより迅速に収集し、目に見えるビジネス価値を早期に実現します。

NVIDIA AI Enterprise の詳細を見る

仕様