Objectif
Amazon améliore l’expérience client avec une vérification orthographique en temps réel pour la recherche de produits.
Client
Amazon
Utilisation
Recherche en temps réel
Technologie
NVIDIA TensorRT, serveur d’inférence NVIDIA Triton, T5, analyseur de modèle Triton
Vérification orthographique en temps réel pour une recherche améliorée des produits
Amazon.com, l’un des sites d’e-commerce les plus visités au monde, permet aux clients de faire des achats plus facilement en utilisant un modèle d’IA qui corrige automatiquement les mots mal orthographiés dans les requêtes de recherche. Amazon mesure le succès de ses résultats de recherche accélérés en fonction de la latence (la rapidité avec laquelle le correcteur orthographique corrige une faute de frappe) et du débit (le nombre de sessions réussies).
Solutions de NVIDIA
Pour obtenir les résultats souhaités, Amazon utilise le modèle de traitement du langage naturel (NLP) du Transformateur de transfert de texte à texte (T5) pour la correction orthographique. Pour accélérer la correction de texte, ils utilisent le logiciel d’inférence NVIDIA AI, y compris NVIDIA TritonTM Inference Server, et NVIDIA® TensorRTTM, un SDK pour l’inférence haute performance en Deep Learning.
Résultats Amazon
Résultats
- Inférence cinq fois plus rapide avec NVIDIA TensorRT et NVIDIA Triton Inference Server
- Inference en temps réel (<50ms)<50ms)
Amazon a déployé avec succès le modèle T5 NLP pour la correction orthographique automatique, accéléré par Triton Inference Server et TensorRT. Les solutions NVIDIA ont respectivement fourni moins de 50 ms de latence d’inférence et 5 fois plus de débit pour le modèle T5, en utilisant des GPU NVIDIA sur Amazon Web Services (AWS). L’analyseur de modèle Triton a également réduit le temps nécessaire pour trouver une configuration d’inférence optimale de plusieurs semaines à plusieurs heures. Grâce à l’IA, les acheteurs en ligne peuvent désormais trouver les produits qu’ils recherchent plus rapidement et plus facilement, ce qui améliore la satisfaction globale des clients d’Amazon.
À propos d’Amazon
Amazon.com, Inc. est une société américaine multinationale de technologie qui se concentre sur l’e-commerce.
« Tout est question d’expérience client, et la barre de recherche est le point d’entrée pour nos clients à travers le monde. Avec Model Analyzer, ce qui nous prenait auparavant deux ou trois semaines est désormais réalisable en moins d’une journée. Nous avons démontré que les modèles génératifs fonctionnent mieux sur les GPU NVIDIA, c’est un fait. Si je peux apporter une latence de milliseconde à des modèles plus grands, je peux rendre plus de clients heureux. NVIDIA se concentre sur le bon aspect : l’optimisation des performances, et ils sont d’excellents partenaires, rapides et réactifs sur les fonctionnalités. »
Développeur en machine learning
Amazon