Visit your regional NVIDIA website for local content, pricing, and where to buy partners specific to your country.
マルチインスタンス GPU (MIG) は、NVIDIA Blackwell および Hopper™ 世代 GPU のパフォーマンスと価値を拡張します。MIG は GPU を最大 7 つのインスタンスに分割でき、各インスタンスは独自の高帯域幅メモリ、キャッシュ、計算コアを備え完全に分離されています。これにより管理者は、サービス品質 (QoS) が保証された状態で最小から最大までのあらゆるワークロードに対応でき、アクセラレーテッド コンピューティング リソースをすべてのユーザーに提供できます。
MIG を利用すれば、1 つの GPU で GPU リソースを最大 7 倍にすることができます。MIG があれば、研究者や開発者はこれまでにない多くのリソースと柔軟性を得られます。
MIG には、さまざまなインスタンス サイズを選択できる柔軟性があり、各ワークロードに適した規模で GPU インスタンスをプロビジョニングできます。結果的に、利用率が最適化され、データ センターに対する投資が最大化されます。
MIG を使用すると、推論、トレーニング、ハイ パフォーマンス コンピューティング (HPC) といった複数のワークロードを、互いのレイテンシとスループットに影響を与えることなく単一 GPU 上で同時に実行できます。タイム スライシングとは異なり、各ワークロードは並列で実行され、パフォーマンスが高くなります。
MIG を使用しない場合、同じ GPU で実行されている複数のジョブ (各種の AI 推論リクエストなど) が、同一のリソースをめぐって競合することになります。メモリ帯域幅を多く消費するジョブがあると、他のジョブに十分な帯域幅を割り当てられなくなり、目標とするレイテンシを達成できないジョブがいくつか発生してしまいます。MIG を使用すれば、複数のインスタンスでジョブが同時に実行され、それぞれに専用のコンピューティング リソース、メモリ、メモリ帯域幅が割り当てられるため、パフォーマンスが予測可能になり、QoS が確保され、GPU が最大限まで活用されます。
GPU は様々なサイズの MIG インスタンスに分割することができます。例えば、NVIDIA GB200 では、管理者はメモリ容量が 95GB の 2 つのインスタンス、45GB の 4 つのインスタンス、または 23GB の 7 つのインスタンスを作成することができます。
MIG インスタンスは動的に再構成することも可能であり、管理者はユーザーやビジネスの需要変化に応じて GPU リソースを柔軟に調整できます。たとえば、昼はスループットの低い推論のために 7 つの MIG インスタンスを使用し、夜はディープラーニング トレーニングのために 1 つの大きな MIG インスタンスに再構成することが可能です。
専用のコンピューティング、メモリ、キャッシュのハードウェア リソースを割り当てることで、各 MIG インスタンスで QoS が確保され、故障が分離されます。つまり、あるインスタンスで実行されているアプリケーションに問題が発生しても、他のインスタンスで実行されているアプリケーションには影響が出ません。
また、対話式のモデル開発、ディープラーニング トレーニング、AI 推論、HPC アプリケーションといったさまざまな種類のワークロードを異なるインスタンスで実行できることを意味します。インスタンスが並列で実行されるため、ワークロードも同じ物理 GPU 上で並列実行されますが、分離されています。
Blackwell および Hopper GPU は、仮想化環境での最大 7 つの GPU インスタンスにわたるマルチテナント、マルチユーザー構成で MIG をサポートし、ハードウェアとハイパーバイザーレベルでの機密コンピューティングにより各インスタンスを安全に分離します。各 MIG インスタンス専用のビデオデコーダーにより、共有インフラストラクチャ上で安全かつ高スループットのインテリジェント ビデオ アナリティクス (IVA) を実現します。同時 MIG プロファイリングにより、管理者は適切なサイズの GPU アクセラレーションを監視し、複数ユーザーにリソースを割り当てることができます。
小規模なワークロードを持つ研究者は、完全なクラウド インスタンスをレンタルする代わりに、MIG を使用して GPU の一部を安全に分離しながら、保存中、転送中、使用中のデータが安全であることを確信できます。これにより、クラウド サービス プロバイダーの柔軟性が向上し、より小規模な顧客ニーズにも対応した価格設定が可能になります。
このデモでは、AI とハイ パフォーマンス コンピューティング (HPC) のワークロードを同じ A100 GPU で同時に実行します。
このデモでは、MIG のシングル スライスでの推論パフォーマンスを示し、A100 全体で線形にスケーリングします。
MIG では、IT と DevOps のチームが GPU を細かくプロビジョニングできます。各 MIG インスタンスは、アプリケーションに対してスタンドアロン GPU のように振る舞います。そのため、CUDA® プラットフォームに変更はありません。MIG は、すべての主要なエンタープライズ コンピューティング環境で使用できます。
オンプレミス、クラウド、エッジで MIG を利用。
コンテナー化されたアプリケーションを MIG インスタンスで実行。
MIG インスタンスに Kubernetes ポッドをスケジューリング。
仮想マシン内の MIG インスタンスでアプリケーションを実行。
仕様は暫定的なものであり、変更される可能性があります。 *掲載されているサイズは GB200 NVL72 の Blackwell GPU に関するものです。HGX B200 の Blackwell GPU の MIG サイズはより小さくなります、詳細は技術文書をご参照ください。
MIG の詳細を見る.