ディープラーニング
推論プラットフォーム

クラウド、データセンター、エッジ、自律動作マシン
向けの推論ソフトウェアおよびアクセラレータ

NVIDIA が新しい AI 推論ベンチマークを獲得、AI リーダーシップを広げる

AI の高速化。コストの削減。

画像や音声の認識、自然言語処理、画像検索、レコメンデーションのパーソナライズなど、ますます高度化する AI 対応サービスに対する需要が爆発的に増加しています。同時に、データセットが増加し、ネットワークが複雑になり、ユーザーの期待に応えるためのレイテンシ要件は厳しくなっています。

NVIDIA の AI 推論プラットフォームは、クラウド、データセンター、ネットワークエッジ、車両に展開される次世代 AI 製品/サービスに不可欠なパフォーマンス、効率性、応答性を提供するプログラム可能な推論アクセラレータです。

テクニカル推論概要をダウンロードする
 NVIDIA TRITON 推論サーバーで簡単導入

NVIDIA GPU の潜在能力を NVIDIA TensorRT ですべて引き出す

NVIDIA® TensorRT は、NVIDIA Tensor コア GPU のパワーを解き放つ鍵となるパイパフォーマンス推論プラットフォームです。CPU だけのプラットフォームと比較し、スループットが最大 40 倍上がり、同時に待ち時間が最小限に抑えられます。TensorRT を利用することで、あらゆるフレームワークから始め、トレーニングされたニューラル ネットワークを短期間で最適化し、その有効性を検証し、運用環境に展開できます。

NVIDIA TRITON 推論サーバーで簡単導入

NVIDIA Triton 推論サーバー (以前の TensorRT 推論サーバー) は、ディープラーニング モデルを運用環境に簡単に展開するためのオープンソース ソフトウェアです。Triton 推論サーバーを利用することで、チームはあらゆる GPU/CPU ベース インフラストラクチャのローカル ストレージ、Google Cloud Platform、AWS S3 から、あらゆるフレームワーク (TensorFlow、PyTorch、TensorRT Plan、Caffe、MXNet、カスタム) でトレーニングされた AI モデルを展開できます。1 つの GPU で複数のモデルを同時に実行し、利用率を最大化し、Kubernetes と統合してオーケストレーション、メトリックス、自動スケーリングを行います。

パワーの統合、スケーラブルなディープラーニング推論

1 つの統合アーキテクチャにより、あらゆるディープラーニング フレームワークで NVIDIA TensorRT を利用し、ニューラル ネットワークのトレーニング、最適化、展開を行い、エッジでのリアルタイム推論を実現します。NVIDIA DGX SystemsNVIDIA Tensor コア GPUNVIDIA Jetson NVIDIA DRIVEMLPerf ベンチマーク スイートで示されているように、NVIDIA はエンドツーエンドで完全にスケーラブルなディープラーニング プラットフォームを提供しています。

「コストを大幅に節約」をご覧ください

データ センターの管理者は、サーバーの生産性を最大限に維持するためにパフォーマンスと効率性のいずれかを妥協しなければなりません。1 台の NVIDIA T4 サーバーが複数の汎用 CPU サーバーの代わりになり、ディープラーニング推論のアプリケーションやサービスを実行できます。エネルギー要件が緩和され、購入コストと運用コストの両方を削減できます。

推論ソリューション

自動運転車
インテリジェント ビデオ分析

AI の高速化を実現する方法を学ぶ

「NVIDIA GPU と NVIDIA TensorRT で AI の高速化を実現する」ウェビナーをご覧ください