Plateforme d’inférence NVIDIA pour le Deep Learning Logiciels et accélérateurs d’inférence pour les services Cloud, les Data Centers, les systèmes Edge et les machines autonomes
Exploitez le plein potentiel des GPU NVIDIA avec NVIDIA TensorRT NVIDIA® TensorRT™ est une plateforme d’inférence à hautes performances qui est essentielle pour exploiter toute la puissance des GPU NVIDIA à cœurs Tensor. Elle offre un rendement jusqu’à 40 fois plus élevé tout en minimisant la latence par rapport aux plateformes uniquement basées sur le traitement CPU. À partir de n’importe quel framework, TensorRT vous permet d’optimiser, de valider et de déployer des réseaux de neurones entraînés pour la production. TensorRT est également disponible via le catalogue NVIDIA NGC.
Simplifiez vos déploiements grâce au serveur d’inférence NVIDIA Triton Le serveur d’inférence NVIDIA Triton, auparavant connu sous le nom de serveur d’inférence TensorRT, est un logiciel open-source qui simplifie le déploiement des modèles de Deep Learning en production. Le serveur d’inférence Triton permet aux équipes de déployer des modèles d'IA entraînés via n’importe quel framework (TensorFlow, PyTorch, TensorRT Plan, Caffe, MXNet ou un framework personnalisé) en stockage local, sur la plateforme Google Cloud ou via AWS S3 sur n'importe quelle infrastructure basée sur GPU ou sur CPU. Triton permet d’exécuter simultanément plusieurs modèles sur un seul GPU afin d’en optimiser l’utilisation et s'intègre à Kubernetes pour prendre en charge l’orchestration, les métriques et la mise à l’échelle automatique. En Savoir Plus
Plateforme d’inférence Deep Learning évolutive et unifiée Grâce à une architecture unifiée à hautes performances, les réseaux de neurones des frameworks Deep Learning peuvent être entraînés et optimisés avec NVIDIA TensorRT, puis déployés en temps réel sur les systèmes Edge. L’association des systèmes NVIDIA DGX™, des GPU NVIDIA Tensor Core, de NVIDIA Jetson™, et de NVIDIA DRIVE™, NVIDIA fournit une plateforme Deep Learning de bout en bout entièrement évolutive, comme l’illustre la suite de benchmarking MLPerf.
Cost Savings at a Massive Scale Pour garantir un niveau de productivité optimal, les gestionnaires de Data Centers ont longtemps dû faire un compromis entre performance et efficacité énergétique. Un seul serveur NVIDIA Tesla T4 peut remplacer de multiples serveurs CPU génériques pour les applications et les services d’inférence basés sur le Deep Learning, ce qui optimise la consommation et offre une réduction significative des coûts d’exploitation