Plateforme d’inférence NVIDIA pour le Deep Learning

Logiciels et accélérateurs d’inférence pour les services Cloud, les Data Centers, les systèmes Edge et les machines autonomes

NVIDIA étend son leadership en décrochant la 1re place d'un nouveau benchmark dédié aux inférences d'IA

IA plus rapide à coût réduit.

La demande n’a jamais été aussi forte en matière de services IA sophistiqués dans des domaines industriels allant de la reconnaissance vocale à l’analyse d’images en passant par le traitement automatique du langage naturel, la recherche visuelle ou les recommandations personnalisées. En parallèle, les volumes de données sont de plus en plus massifs, les réseaux sont de plus en plus complexes et les exigences des utilisateurs sont de plus en plus fortes.

La plateforme d’inférence de NVIDIA fournit toutes les performances, l’efficacité et la réactivité requises par la nouvelle génération de services et de produits basés sur l’IA pour les services Cloud, les Data Centers, les systèmes Edge et les machines autonomes.

Enregistrez-vous pour télécharger notre dossier technique sur l’inférence.

Simplifiez vos déploiements grâce au serveur d’inférence NVIDIA Triton

Inférence sur Data Center – Voir la vidéo

Exploitez le plein potentiel des GPU NVIDIA avec NVIDIA TensorRT

TensorRT est une plateforme d’inférence à hautes performances qui est essentielle pour exploiter toute la puissance des GPU NVIDIA à cœurs Tensor. Elle offre un rendement jusqu’à 40 fois plus élevé tout en minimisant la latence par rapport aux plateformes uniquement basées sur le traitement CPU. À partir de n’importe quel framework, TensorRT vous permet d’optimiser, de valider et de déployer des réseaux de neurones entraînés pour la production.

Simplifiez vos déploiements grâce au serveur d’inférence NVIDIA Triton

Le serveur d’inférence NVIDIA Triton, auparavant connu sous le nom de serveur d’inférence TensorRT, est un logiciel open-source qui simplifie le déploiement des modèles de Deep Learning en production. Le serveur d’inférence Triton permet aux équipes de déployer des modèles d'IA entraînés via n’importe quel framework (TensorFlow, PyTorch, TensorRT Plan, Caffe, MXNet ou un framework personnalisé) en stockage local, sur la plateforme Google Cloud ou via AWS S3 sur n'importe quelle infrastructure basée sur GPU ou sur CPU. Triton permet d’exécuter simultanément plusieurs modèles sur un seul GPU afin d’en optimiser l’utilisation et s'intègre à Kubernetes pour prendre en charge l’orchestration, les métriques et la mise à l’échelle automatique.

EN SAVOIR PLUS

Plateforme d’inférence Deep Learning évolutive et unifiée

Grâce à une architecture unifiée à hautes performances, les réseaux de neurones des frameworks Deep Learning peuvent être entraînés et optimisés avec NVIDIA TensorRT, puis déployés en temps réel sur les systèmes Edge. L’association des systèmes NVIDIA DGX^™, des GPU NVIDIA Tensor Core, de NVIDIA Jetson^™, et de NVIDIA DRIVE^™, NVIDIA fournit une plateforme Deep Learning de bout en bout entièrement évolutive, comme l’illustre la suite de benchmarking MLPerf.

deep-learning-ai-inference-maximize-gpu-utilization-625-u

MAXIMIZE GPU UTILIZATION FOR DATA CENTER INFERENCE

Easily incorporate state-of-the-art AI in your solutions with NVIDIA Inference Server, a microservice for inference that maximizes GPU acceleration and hosts all popular AI model types. Deploy inference faster with this production-ready inference server that leverages the lightning-fast performance of NVIDIA Tensor Core GPUs and integrates seamlessly into DevOps deployment models, scaling on demand with autoscalers such as Kubernetes for NVIDIA GPUs.

Cost Savings at a Massive Scale

Pour garantir un niveau de productivité optimal, les gestionnaires de Data Centers ont longtemps dû faire un compromis entre performance et efficacité énergétique. Un seul serveur NVIDIA Tesla T4 peut remplacer de multiples serveurs CPU génériques pour les applications et les services d’inférence basés sur le Deep Learning, ce qui optimise la consommation et offre une réduction significative des coûts d’exploitation

Inference Solutions

DATA CENTER

VÉHICULES AUTONOMES

ANALYSE VIDÉO INTELLIGENTE

SYSTÈMES EMBEDDED

Découvrez comment accélérer vos projets IA

Regardez le webinaire "Accélération des projets IA avec les GPU et NVIDIA TensorRT".

Voir la vidéo