NVIDIA Tesla T4 Tensor コア GPU

TensorRT ハイパースケール推論プラットフォームを実現

次のレベルの推論の高速化へ

私たちが競い合いながら目指しているのは、顧客とのやりとり、提供する商品やサービスといったあらゆるものに AI が携わり、よりよいものへ変えていく未来です。その未来を実現するには、最新 AI の汎用性を存分に活かせるコンピューティング プラットフォームが必要です。そうすれば企業が顧客の新しいエクスペリエンスをあらためて考え直し、顧客の要求を満たし (あるいは要求を超え)、AI をベースとする製品やサービスを経済的に拡大できるようになるのです。

NVIDIA® Tesla® T4 GPU は世界最先端の推論アクセラレータです。NVIDIA Turing Tensor コアを搭載した T4 は、最新 AI のさまざまなアプリケーションを加速する画期的な多精度の推論パフォーマンスを発揮します。小さなフォームファクターと 70 W の電力設計により T4 は、スケールアウト サーバー向けに最適化され、リアルタイムで最先端の推論を実行することに特化しています。

画期的な推論の効率性

Tesla T4 は、AI 推論のための多精度コンピューティングで画期的な Turing Tensor コア テクノロジを導入しました。FP32 から FP16、INT8、さらに INT4 精度で画期的性能を備えた T4 は、CPU の最大 40 倍のパフォーマンスを発揮します。

Breakthrough Inference Performance

リアルタイムで最先端の推論

対話型 AI、レコメンダー システム、画像検索などのサービスのユーザー エンゲージメントには応答性が重要です。モデルの精度と複雑さが増すにつれ、正解を即座に提供するには飛躍的に膨大な計算能力が必要になります。Tesla T4 は、40 倍に向上した低レイテンシ スループットにより、より少数の GPU 対応サーバーでより多くのリクエストにリアルタイムで対応できます。

T4 推論性能

Resnet50

DeepSpeech2

GNMT

ビデオコード変換パフォーマンス

オンラインのビデオの数が飛躍的に増えるにつれて、ビデオを効率的に検索し、知見を引き出すソリューションの需要も同様に増えています。Tesla T4 は、旧世代 GPU の 2 倍のデコーディング パフォーマンスを実現する専用のハードウェア コード変換エンジンを使用して AI ビデオ アプリケーションのために画期的なパフォーマンスを提供します。T4 は最大 38 のフル HD ビデオ ストリームをデコードできるため、スケーラブルなディープラーニングをこのビデオ パイプラインに容易に統合でき、革新的かつスマートなビデオ サービスを実現します。

 

パフォーマンス

Turing Tensorコア
320

NVIDIA CUDA® コア
2,560

Single Precision Performance (FP32)
8.1 TFLOPS

混合精度 (FP16/FP32)
65 FP16 TFLOPS

INT8 精度
130 INT8 TOPS

INT4 精度
260 INT4 TOPS

 
 

パフォーマンス

Gen3
x16 PCIe

 
 

メモリ

容量
16 GB GDDR6

帯域幅
320+ GB/秒

 
 

電力

70 watts

 

NVIDIA Tesla T4 仕様

NVIDIA AI 推論プラットフォーム

世界最先端の推論プラットフォームの詳細