システム プロバイダーのトップ企業である Atos、Dell Technologies、富士通、GIGABYTE、
Hewlett Packard Enterprise、Inspur Electronic Information、Quanta、Supermicro が、
NVIDIA A100 システムを世界の産業に提供予定
2020 年 11 月 16 日、カリフォルニア州サンタクララ ー SC20 ー NVIDIA はこのたび、NVIDIA HGX™ AI スーパーコンピューティング プラットフォームを支える最新のイノベーションである NVIDIA® A100 80GB GPU を発表しました。最初に発売された A100 GPU の 2 倍のメモリを持つこの GPU は、研究者やエンジニアに比類ないスピードとパフォーマンスを提供し、AI と科学における次のブレイクスルーへの扉を開きます。
HBM2e テクノロジを搭載した新しいA100 は、A100 40GBの高帯域幅メモリを80GBに倍増し、毎秒 2 テラバイトのメモリ帯域幅を実現しています。これによってデータの読み込みが速くなるため、研究者はアプリケーションをさらに高速化し、最大規模のモデルやデータセットに挑戦することができます。
NVIDIA のディープラーニング応用研究担当バイス プレジデントのブライアン カタンザーロ (Bryan Catanzaro) は次のように述べています。「HPC や AI の研究で最新の成果を上げるには、非常に大きなモデルを構築しなければなりませんが、それにはかつてないほど多くのメモリ容量と帯域幅が必要です。A100 80GB GPU は半年前に発表された先代 の 2 倍のメモリを備え、毎秒 2 テラバイトの壁を破っており、研究者は世界で最も重要な科学やビッグデータの課題に取り組めます」
NVIDIA A100 80GB GPU は、NVIDIA DGX™ A100 システムと、今回同時に発表され、この四半期に発売予定の NVIDIA DGX Station™ A100 システムで利用できます。
システム プロバイダーのトップ企業である Atos、Dell Technologies、富士通、GIGABYTE、Hewlett Packard Enterprise、Inspur Electronic Information、Lenovo、Quanta、Supermicro が、A100 80GB GPU を4台、または8台搭載したHGX A100 統合ベースボードを使って構築したシステムを、2021 年の上半期に提供開始する予定です。
大量のデータを必要とするワークロードの加速
A100 40GB と比較すると、A100 80GBは、膨大なデータ メモリを必要とする幅広いアプリケーションに最適です。
AI トレーニングの場合、DLRM のようなレコメンダー システム モデルには、何十億人ものユーザーと何億もの製品を表す巨大なテーブルがあります。A100 80GB は 3 倍まで高速化できるため、企業はこのようなモデルを素早く再トレーニングして、非常に正確なレコメンデーションを実現できます。
また、A100 80GB によって、たとえば超人的なテキスト生成能力を持つ自然言語処理モデルである GPT-2 のような最大級のモデルを、さらに多くのパラメーターを使ってトレーニングすることが、1 台の HGX 搭載サーバーだけで可能になります。実装に時間がかかり、複数ノードでの実行が遅くなりがちな、データまたはモデルの並列アーキテクチャの必要がなくなります。
A100 は、マルチインスタンス GPU (MIG) テクノロジによって最大 7 つの GPU インスタンスに分割することができ、各インスタンスはそれぞれ 10 GB のメモリを持ちます。これにより、ハードウェアを安全に分離し、より小規模な種々のワークロードのために GPU の使用効率を最大化することができます。RNN-T のような自動音声認識モデルの AI 推論では、1 つの A100 80GB MIG インスタンスではるかに大きなバッチ サイズを提供でき、稼働時に 1.25 倍を超える推論のスループットを実現します。
小売業向けのテラバイト サイズのビッグデータ分析ベンチマークにおいて、A100 80GBはパフォーマンスを最大2倍に向上させ、最大規模のデータセットで迅速な洞察を提供するための理想的なプラットフォームとなっています。データが動的に更新されるため、企業はリアルタイムで重要な意思決定を行うことができます。
気象予報や量子化学のような科学への応用では、A100 80GB は大幅な高速化を実現できます。材料シミュレーションの Quantum Espresso は、単一ノードの A100 80GB でスループット パフォーマンスを 2 倍近くまで引き上げることに成功しました。
理化学研究所計算科学研究センターの松岡聡 センター長のは次のように述べています。「スーパーコンピューティングのアプリケーションでハイ パフォーマンスを実現するには、高速で豊富なメモリの帯域幅と容量が欠かせません。HBM2e GPU メモリを 80GB 備える NVIDIA A100 は、世界最速の毎秒 2 テラバイトの帯域幅を実現しており、アプリケーション パフォーマンスを大幅に引き上げることができるでしょう」
A100 80GB の主な特徴
A100 80GB には、NVIDIA Ampere アーキテクチャの画期的な特徴が多く含まれます。
- 第 3 世代 Tensor コア: 新しいフォーマットの TF32 で、前世代の Volta の最大 20 倍の AI スループットを実現する他、HPC 向けの FP64 は 2.5 倍、AI 推論向けの INT8 は 20 倍であり、BF16 データ フォーマットにも対応。
- より大きく、より速い HBM2e GPU メモリ: メモリ容量が 2 倍に増え、業界で初めて毎秒 2 TB を超えるメモリ帯域幅を実現。
- MIG テクノロジ: 分離されたインスタンスあたりのメモリが 2 倍となり、各 10 GB の MIG を 7 つまで提供。
- 構造化スパース性: スパースなモデルの推論で最大 2 倍の高速化を実現。
- 第 3 世代の NVLink と NVSwitch: GPU から GPU への帯域幅が前世代の相互接続テクノロジの 2 倍となり、データを大量に用いるワークロード向けに、GPU へのデータ転送を毎秒600 GB に高速化。
NVIDIA HGX AI スーパーコンピューティング プラットフォーム
A100 80GB GPU は、NVIDIA HGX AI スーパーコンピューティング プラットフォームの重要な要素であり、NVIDIA GPU、NVIDIA NVLink®、NVIDIA InfiniBand ネットワーク、そして完全に最適化された NVIDIA の AI および HPC ソフトウェア スタックの力をすべて結集して、最高のアプリケーション パフォーマンスを提供します。これにより、研究者や科学者は、HPC、データ分析、ディープラーニングのコンピューティング手法を組み合わせ、科学の進歩を推進することができます。
NVIDIA について
1999 年における NVIDIA (NASDAQ 表示: NVDA) による GPU の発明は、PC ゲーミング市場の成長に爆発的な拍車をかけ、現代のコンピューター グラフィックスを再定義し、並列コンピューティングに革命的変化を起こしました。最近では、GPU ディープラーニングが最新の AI (次世代コンピューティング) に火をつけ、世界を知覚し理解することができるコンピューター、ロボット、自律走行車の脳として GPU は機能しています。詳細は、こちらのリンクから: http://nvidianews.nvidia.com/