Amazon Acelera la Satisfacción del Cliente con Servidor de Inferencia NVIDIA Triton y NVIDIA TensorRT

Amazon.com, uno de los sitios web de comercio electrónico más visitados del mundo, permite a los clientes comprar sin esfuerzo utilizando un modelo de IA que corrige automáticamente las palabras mal escritas en las consultas de búsqueda. Amazon mide el éxito de sus resultados de búsqueda acelerados basándose en la latencia (la rapidez con la que el corrector ortográfico corrige un error tipográfico) y el rendimiento (el número de sesiones exitosas).

Para lograr los resultados deseados, Amazon utiliza el modelo de procesamiento de lenguaje natural (NLP) Text-To-Text Transfer Transformer (T5) para la corrección ortográfica. Para acelerar la corrección de texto, aprovechan el software de inferencia de IA de NVIDIA, incluido el Servidor de Inferencia NVIDIA Triton™ y NVIDIA® TensorRT™, un SDK para inferencia de deep learning de alto rendimiento.

Amazon implementó con éxito el modelo T5 NLP para la corrección ortográfica automática, acelerado por el Servirdor de Inferencia Triton y TensorRT. Las soluciones de NVIDIA ofrecieron respectivamente menos de 50 ms de latencia de inferencia y 5 veces el rendimiento del modelo T5, utilizando GPU NVIDIA en Amazon Web Services (AWS). El Triton Model Analyzer también redujo el tiempo necesario para encontrar la configuración de inferencia óptima de semanas a horas. Con la IA, los compradores en línea ahora pueden encontrar los productos que buscan de manera más rápida y sencilla, lo que aumenta la satisfacción general del cliente de Amazon.

Amazon.com, Inc. es una empresa de tecnología multinacional estadounidense que se centra en el comercio electrónico.