NVIDIA GPU の潜在能力を NVIDIA TensorRT ですべて引き出す NVIDIA のディープラーニング推論ソフトウェアは、最適な推論パフォーマンスを引き出すための鍵となります。NVIDIA TensorRT を使用することで、トレーニングされた推論用ニューラル ネットワークを迅速に最適化、検証、展開できます。TensorRT は、CPU のみの推論と比較して、7 ミリ秒未満のリアルタイム レイテンシで最大 40 倍のスループットを実現します。
統一された拡張性の高いエンドツーエンドのディープラーニング推論 1 つの統一されたアーキテクチャにより、NVIDIA TensorRT であらゆるディープラーニング フレームワーク上のニューラル ネットワークのトレーニング、最適化、展開を行い、エッジでのリアルタイム推論を実現します。 NVIDIA® DGX™ システム、 NVIDIA Tesla®、NVIDIA Jetson™、NVIDIA DRIVE™ PX 、により、NVIDIA は拡張性の高いエンドツーエンドのディープラーニング プラットフォームを提供できるようになりました。
大規模なコスト削減 データセンターの管理者は、サーバーの生産性を最大限に維持するためにパフォーマンスと効率性のいずれかを妥協しなければなりません。単一の NVIDIA Tesla P4 サーバーは、11 台の汎用 CPU サーバーと同等のディープラーニング推論アプリケーションおよびサービスを提供します。さらに、エネルギー要件も低減され、最大 80% のコスト削減も実現します。