NVIDIA H100 CNX コンバージド アクセラレータ

GPU を活用した、IO を大量の処理するワークロードのためのこれまでにないパフォーマンス。

統合ネットワークとコンピューティング高速化

コンバージド アクセラレーションのこれまでにないパフォーマンスをご体験ください。NVIDIA H100 CNX は、NVIDIA H100 Tensor コア GPU のパワーと NVIDIA® ConnectX®-7 スマート ネットワーク インターフェイス カード (SmartNIC) の高度なネットワーク機能を組み合わせ、企業データ センターにおける分散型 AI トレーニングやエッジでの 5G 処理など、GPU を活用した、入出力 (IO) 負荷の高いワークロードを加速します。

I/O パフォーマンスの向上

I/O パフォーマンスの向上

NVIDIA H100 と ConnectX-7 は一体型 PCIe Gen5 スイッチを介して接続され、GPU とネットワーク間のデータ転送に専用の高速パスを提供します。これにより、ホストを経由するデータのボトルネックが解消され、予測可能な低いレイテンシを実現します。これは 5G 信号処理などの時間依存のアプリケーションにおいて重要です。

バランスのとれた最適な設計

バランスのとれた最適な設計

GPU と SmartNIC を一つのデバイスに統合することで、設計上バランスの取れたアーキテクチャが実現します。複数の GPU が必要なシステムでは、コンバージド アクセラレータ カードにより、GPU と NIC の間で最適な 1 対 1 比を維持します。  この設計によりサーバーの PCIe バスでの競合が回避されるため、追加のデバイスに比例してパフォーマンスが向上します。

コスト削減

コスト削減

GPU と SmartNIC は直接接続されているため、お客様はメインストリームの PCIe Gen4 サーバーだけでなく Gen3 サーバーも活用し、ハイエンドまたは専用システムでのみ可能な水準のパフォーマンスを実現できます。  カード 1 枚を使用して、電力、設置場所、PCIe デバイス スロットも節約できます。サーバーあたりのアクセラレータ数を増やし、さらなるコスト削減を実現します。

アプリケーション対応

アプリケーション対応

NVIDIA Collective Communications Library (NCCL) や Unified Communication X (UCX®) などのコア アクセラレーション ソフトウェア ライブラリでは、GPU へのデータ転送に最適なパスを自動的に利用します。その結果、既存の高速化されたマルチノード アプリケーションでは、H100 CNX を改変することなく活用し、すぐに利点を享受できます。

AI システムの高速化と効率化

分散型マルチノード AI トレーニング

分散型マルチノード AI トレーニング

異なるホスト上の GPU 間のデータ転送を伴う分散型 AI トレーニング ワークロードを実行する場合、サーバーはしばしばパフォーマンス、スケーラビリティ、密度の制限に直面します。一般的なエンタープライズ サーバーには PCIe スイッチが含まれています。そのため特に仮想マシンの場合、CPU はこのトラフィックのボトルネックとなります。データ転送は、ホスト PCIe バックプレーンの接続速度によって制限されます。競合は GPU の数と NIC の不均衡が原因となり得ます。1 対 1 の比率が理想的ですが、サーバー内の PCIe レーンとスロットの数によってデバイスの総数が制限される場合があります。

H100 CNX はこの問題を解決します。ネットワークから GPU への専用パスを使用することで、GPUDirect® RDMA がほぼ同じ回線速度で動作します。ホスト PCIe バックプレーンに関係なく、PCIe Gen5 の速度でもデータ転送が行われます。理想的な GPU 対 NIC 比が実現されるので、ホストの GPU パワーのスケールアップをバランス良く行えます。また、コンバージド アクセラレータで必要な PCIe レーンとデバイス スロットは単体型カードよりも少ないため、サーバーにさらなる高速化パワーを備えられます。

エッジの AI-on-5G を高速化

NVIDIA AI-on-5G は、NVIDIA EGX エンタープライズ プラットフォーム、ソフトウェア デファインドの 5G バーチャル無線エリアネットワーク (vRAN) 用の NVIDIA Aerial SDK、および NVIDIA Isaac や NVIDIA Metropolis などの SDK を含むエンタープライズ AI フレームワークで構成されています。このプラットフォームにより、ビデオ カメラや産業用センサーおよびロボットなどのエッジ デバイスが AI を使用し、5G を介してサーバーと通信できるようになります。

NVIDIA コンバージド アクセラレータは、5G アプリケーションを実行するための最高性能のプラットフォームを提供します。データはホスト PCIe システムを経由する必要がないため、処理の待ち時間が大幅に短縮されます。5G 信号処理を高速化するために使用されるのと同じコンバージド アクセラレータをエッジ AI にも使用でき、NVIDIA のマルチインスタンス GPU (MIG) テクノロジにより、複数の異なるアプリケーション間で GPU を共有できます。H100 CNX があれば、高価な専用システムを導入しなくても、1 台のエンタープライズ サーバーでこれらすべての機能を提供できます。

NVIDIA AI-on-5G

H100 CNX の仕様

  仕様
GPU メモリ 80GB HBM2e
メモリ帯域幅 > 2.0TB/秒
MIG インスタンス 10 GB の インスタンスが 7 つ
20 GB の インスタンスが 3 つ
40 GB の インスタンスが 2 つ
相互接続 PCIe Gen5 128GB/秒
NVLink ブリッジ 双方向
ネットワーキング 1x 400Gb/秒、2x 200Gb/秒ポート、イーサネットまたは InfiniBand
フォーム ファクター デュアルスロット、フルハイト、フルレングス (FHFL)
最大消費電力 350W

NVIDIA Hopper アーキテクチャの詳細を見る