NVIDIA HGX A100

NVIDIA A100 Tensor コア GPU、NVLink、 NVSwitch のパワー

AI と HPC (ハイ パフォーマンス コンピューティング) のための最もパワフルなアクセラレーテッド サーバー プラットフォーム

機械学習の膨大なデータセット、爆発的に増大するディープラーニングのモデル サイズ、HPC (ハイ パフォーマンス コンピューティング) の複雑なシミュレーションには、極めて高速な方式で相互接続された複数の GPU が必要です。NVIDIA HGX™ A100 は NVIDIA A100 Tensor Core GPU に新しい NVIDIA® NVLink® と NVSwitch™ の高速相互接続を組み合わせることで、世界で最もパワフルなサーバーを構成します。徹底的にテストされ導入が簡単なベースボードの HGX A100 は、パートナー企業のサーバーに統合でき、保証付きのパフォーマンスを提供します。

比類のないアクセラレーテッド コンピューティング

第三世代 Tensor コアのパワーを活用する HGX A100 は、面倒な設定なしに Tensor Float 32 (TF32) で AI を 10 倍、FP64 で HPC を 2.5 倍高速化します。NVIDIA HGX™ A100 4- GPU は最も需要の高い HPC ワークロード向けにほぼ 80 テラフロップスの FP64 演算性能を発揮します。NVIDIA HGX™ A100 8- GPU が 5 ペタフロップスの FP16 ディープラーニング コンピューティングを提供し、16 GPU HGX A100 は圧倒的な 10 ペタフロップスをもたらします。 AI と HPC に最適な世界最強のアクセラレーテッド スケールアップ サーバー プラットフォームです。

NVIDIA HGX A100 8-GPU

NVIDIA HGX A100 with 8x A100 GPUs

NVIDIA HGX A100 4-GPU

NVIDIA HGX A100 with 4x A100 GPUs

AI トレーニング向けの TF32 を使用して、設定不要で最大 6 倍高速な性能を実現

BERT トレーニング

nvidia-a100-6x-tf32-ai-training-2c50-d

BERT pre-training throughput using Pytorch, including (2/3) Phase 1 and (1/3) Phase 2 | Phase 1 Seq Len = 128, Phase 2 Seq Len = 512; V100: NVIDIA DGX-1™ server with 8x V100 using FP32 precision; A100: DGX A100 Server with 8x A100 using TF32 precision. ​

ディープラーニングのパフォーマンス

ディープラーニング モデルの規模と複雑性が爆発的に上がっています。つまり、 AI モデルは優れたスケーラビリティのために、大量のメモリ、充実した計算処理能力、高速の相互接続を備えたシステムを必要としています。NVIDIA NVSwitch がすべての GPU 間での高速通信を可能にするため、HGX A100 は最先端の AI モデルを処理するパワーを提供します。1 台のNVIDIA HGX™ A100 8- GPU で CPU を搭載したサーバー XXX 基の代わりになります。コストを大幅に節約し、置き場所を取らず、データ センターの省エネに貢献します。

機械学習のパフォーマンス

機械学習モデルでは、インサイトを集めるために、極めて大きなデータセットを読み込み、変換し、処理する必要があります。NVSwitch で半テラバイト超のユニファイド メモリと GPU 間の all-to-all 通信を活用する HGX A100 には、 データセットを読み込んで演算を行い、実行可能なインサイトを短時間で導き出すパワーがあります。

機械学習のパフォーマンス

4 年間で 9 倍の HPC パフォーマンス

上位 HPC アプリケーションのスループット

nvidia-a100-9x-hpc-2c50-d

BERT Large Inference | NVIDIA TensorRT™ (TRT) 7.1 | NVIDIA T4 Tensor Core GPU: TRT 7.1, precision = INT8, batch size = 256 | V100: TRT 7.1, precision = FP16, batch size = 256 | A100 with 1 or 7 MIG instances of 1g.5gb: batch size = 94, precision = INT8 with sparsity.​

HPC のパフォーマンス

HPC アプリケーションは、秒単位で大量の演算を実行できる計算処理能力を必要とします。各サーバー ノードの計算処理密度を上げることで、必要なサーバーの数が劇的に減ります。結果的に、データ センターの消費電力が大幅に減少し、コストが大きく削減されます。占有空間も少なくなります。HPC シミュレーションの高次元行列乗算では、計算のためにプロセッサが多数の隣接プロセッサからデータを取得する必要があります。そこで、NVLink で GPU を接続することが理想的となります。1 台の NVIDIA HGX™ A100 4- GPU サーバーで、同じ科学アプリケーションを実行する CPU サーバー 100 台以上の代わりになります。

AI と HPC の最もパワフルなエンドツーエンド データ センター プラットフォーム

この完全な NVIDIA データ センター ソリューションは、ハードウェア、ネットワーキング、ソフトウェア、ライブラリ、 NGC™ の最適化された AI モデルとアプリケーションにわたる構成要素を組み込んでいます。データ センター向けとして最もパワフルな AI/HPC 用エンドツーエンド プラットフォームであり、研究者は現実世界で成果をもたらし、ソリューションを大規模な運用 環境に展開できます。

HGX A100 の仕様

HGX A100 は 4 または 8 個の A100 GPU を搭載したシングル ベースボードで販売されています。GPU が 4 つの構成の場合、NVLink で完全に相互接続されます。8 つの場合、NVSwitch で相互接続されます。NVIDIA HGX™ A100 8- GPU ベースボード 2 つを NVSwitch の相互接続で組み合わせ、パワフルな 16 GPU シングル ノードを作ることもできます。

4-GPU 8-GPU 16-GPU
GPU 4x NVIDIA A100 8x NVIDIA A100 16x NVIDIA A100
HPC と AI コンピューティング FP64/TF32*/FP16*/INT8* 78TF/1.25PF*/2.5PF*/5POPS* 156TF/2.5PF*/5PF*/10POPS* 312TF/5PF*/10PF*/20POPS*
メモリ 160 GB 320 GB 640 GB
NVIDIA NVLink 第 3 世代 第 3 世代 第 3 世代
NVIDIA NVSwitch なし 第 2 世代 第 2 世代
NVIDIA NVSwitch GPU 間帯域幅 なし 600 GB/秒 600 GB/秒
合計帯域幅 2.4 TB/秒 4.8 TB/秒 9.6 TB/秒

* 疎性の場合

HGX-1 と HGX-2 の参照アーキテクチャ

NVIDIA GPU と NVLINK のパワー

NVIDIA HGX-1 と HGX-2 は、データ センターの設計を標準化するリファレンス アーキテクチャであり、AI と HPC を高速化します。NVIDIA SXM2 V100 ボード、NVIDIA NVLink と NVSwitch の相互接続テクノロジで作られた HGX リファレンス アーキテクチャはモジュール設計を取り入れており、ハイパースケールかつハイブリッドのデータ センターでシームレスに動作し、最大 2 ペタフロップスの計算処理能力をもたらします。AI や HPC を短期間で簡単に実現します。

NVIDIA GPU と NVLINK のパワー

仕様

8-GPU
HGX-1  		16-GPU
HGX-2 
GPU 8x NVIDIA V100 16x NVIDIA V100
AI コンピューティング 1 petaFLOPS (FP16) 2 petaFLOPS (FP16)
メモリ 256 GB 512 GB
NVLink 第 2 世代 第 2 世代
NVSwitch なし はい
NVSwitch GPU 間帯域幅 なし 300 GB/秒
合計帯域幅 2.4 TB/秒 4.8 TB/秒

NVIDIA Ampere アーキテクチャの詳細

NVIDIA A100 GPU における NVIDIA Ampere アーキテクチャとその実装の新機能については、この技術の詳細解説をお読みください。

詳細を見る
製品
テクノロジ
リソース