エッジのリアルタイム AI

お客様とリアルタイムで通信します。生産現場や店舗の通路にある数十億規模のセンサーからのデータ フローに迅速に適応します。病気を瞬時に診断し、患者の生命を救います。 スマート リテール スマート ヘルスケア 、 スマート マニュファクチャリング、 スマート トランスポート 、 そして スマート シティ これらすべてを可能にするのが、高速 AI コンピューティングのパワーをエッジにもたらす今日のパワフルな AI と NVIDIA EGX プラットフォームです。

高いパフォーマンスと拡張性

EGX を起動するのはごく小型の NVIDIA® Jetson Nano で、わずかな消費電力で、たとえば画像認識のようなタスクであれば、毎秒 0.5 兆回 (TOPS) におよぶ演算能力を持ちます。その AI コンピューターが NVIDIA T4 サーバーのラックに満載されると、10,000 TOPS 以上の能力で、数百規模のユーザーの音声認識 やそのほかの複雑な AI エクスペリエンスを処理します。

ハイブリッド クラウド と マルチクラウド IoT

NVIDIA EGX はアーキテクチャ的に主要なクラウドが提供する NVIDIA AI コンピューティングと互換性を持ちます。クラウドで開発された AI アプリケーションは NVIDIA EGX 上で実行可能です。もちろん、その逆も問題ありません。NVIDIA Edge Stack は主要なクラウド IoT サービスと接続可能なため、お客様はサービスを AWS IoT Greengrass や Microsoft Azure IoT Edge からリモート管理できます。

エンタープライズ グレードのセキュリティ

NVIDIA Edge Stack は、エンタープライズ グレードでは第 1 級の Kubernetes コンテナー オーケストレーション プラットフォームである Red Hat OpenShift で最適化されています。Mellanox Smart NIC がオフロード機能とともに、ソフトウェア デファインド ネットワーキングを高速化することで、CPU のパフォーマンスに影響を与えることなく、独立性とセキュリティをより高いレベルに引き上げます。

Seagate では、生産工場のハード ディスクの読み書きヘッドの品質検査用として GPU ベースのインテリジェント エッジ ビジョン ソリューションをデプロイしました。NVIDIA EGX プラットフォームはエッジ側の推論を劇的に高速化するため、これまで人が見落としていたようなわずかな欠陥も見逃しません。改善された効率とより良い品質により、最大 10% の生産スループットの改善と最大 300% のROI 実現を予想しています。

— Bruce King 氏 (Seagate Technology シニア プリンシパル データ サイエンティスト)

AI は精緻な診断を達成するためのファンダメンタルで、クラウドからエッジまで、さらに医療デバイスから直接利用可能である必要があります。NVIDIA の EGX により、GE ヘルスケアの MR 取得回数の高速化、画質向上、弊社の医療デバイスに直接 NVIDIA T4 GPU を埋め込むことによるばらつきの低減など、患者のプラスになるような成果を達成しています。リアルタイムの救急医療のユースケースでは、エッジ側で AI の需要が高まっています。弊社が Edison インテリジェンス オファリングを創出し、NVIDIA をパートナーとして AI を医療デバイスおよび Edison エッジ アプライアンスに導入した理由、AI 民主化のために ACR AI-LAB と協業する理由はそこにあります。

— Jason Polzin 博士 (GE ヘルスケア MR アプリケーション ゼネラル マネージャー)

Red Hat は、ワークロード、フットプリント、所在地に関係なく、ハイブリッド クラウドからエッジに同じエクスペリエンスを提供することにコミットしています。お客様は Red Hat OpenShift と NVIDIA EGX 対応プラットフォームを組み合わせることで、ハイパフォーマンスなコンテナー中心の同じ環境を使用することによって分散したオペレーションを最適化できます。

— Chris Wright 氏 (Red Hat CTO)

Foxconn のパソコン生産ラインは検査スピードの制約がありました。各ラインの人手による検査に現在 4 秒を要しているからです。私たちのゴールは、NVIDIA EGX プラットフォームでエッジ側でインテリジェントな意思決定をリアルタイムに実現して、パソコン生産ラインのスループットを 40% 以上向上させることにあります。私たちのモデルでは、欠陥を検出すると同時に、場所を特定し、16 の種別に分類します。それには NVIDIA GPU 上で実行される高速ニューラル ネットワークを使用しますが、超人的なスループット レートで 98% の精度を達成しています。

— Mark Chien 氏 (Foxconn D Group ゼネラル マネージャー)

Mellanox の Smart NIC およびスイッチは、エッジからハイパースケールのデータ センターにスケーリングするデータ アクセスのための理想的な入出力の接続性を提供します。ハイパフォーマンス、低いレイテンシ、高速ネットワークの組み合わせで、コンピューティングのインフラストラクチャの新たな層を提供します。つまり、アクセス効率が高く、NVIDIA EGX のようなエッジ プラットフォーム上の次世代型高度 AI ソリューションに必要なデータの供給に欠かせないインフラストラクチャです。

— Michael Kagan 氏 (Mellanox Technologies CTO)

エッジ向けエンタープライズグレードのソフトウェア スタック

nvidia-egx-platform-software-stack-1cN-D

NVIDIA Edge Stack は最適化されたソフトウェア スタックであり、そこには、NVIDIA ドライバー、CUDA® Kubernetes プラグイン、CUDA Docker コンテナー ランタイム、CUDA-X ライブラリ、また、 NVIDIA TensorRT、 TensorRT Inference Server、DeepStream といったコンテナー化した AI フレームワークおよびアプリケーションが含まれています。NVIDIA Edge Stack は認定サーバー向けに最適化されており、 NVIDIA NGC レジストリからダウンロード可能です

EGX パートナー

  • Edge サーバー
  • Edge マイクロサーバー

稼働中の NVIDIA EGX

NVIDIA EGX エッジ コンピューティング プラットフォームの詳細についてはこちらをご覧ください。