NVIDIA の推論プラットフォームは、クラウド、データ センター、ネットワーク エッジ、自律マシンに展開される次世代 AI 製品/サービスに不可欠なパフォーマンス、効率性、応答性を提供します。
NVIDIA Triton™ Inference Server は、本番環境における高速かつスケーラブルな AI 推論のためのオープンソース ソフトウェアです。Triton を利用すれば、チームは GPU または CPU ベースのインフラストラクチャに、任意のフレームワーク (TensorFlow、PyTorch、XgBoost、Python など) からトレーニング済みの AI モデルを展開できます。GPU と CPU の使用率を最大化し、低レイテンシで高いスループットを実現し、Kubernetes と統合してオーケストレーション、メトリクス、自動スケールを実現します。