Objetivo
Amazon mejora la experiencia del cliente con la comprobación ortográfica en tiempo real, impulsada por la IA, en la búsqueda de productos.
Cliente
Amazon
Caso de uso
Búsqueda en tiempo real
Tecnología
NVIDIA TensorRT, Servidor de inferencia NVIDIA Triton, T5, Análisis de modelos Triton
Comprobación ortográfica en tiempo real para una búsqueda de productos mejorada
Amazon.com, uno de los sitios web de comercio electrónico más visitados del mundo, hace posible que los clientes puedan comprar sin esfuerzo gracias a un modelo de IA que corrige automáticamente las palabras escritas incorrectamente en las consultas de búsqueda. Amazon mide el éxito de sus resultados de búsqueda acelerada en función de la latencia, la rapidez con que el corrector ortográfico corrige un error tipográfico, además del rendimiento: el número de sesiones realizadas con éxito.
Soluciones NVIDIA
Para lograr los resultados deseados, Amazon utiliza el modelo de procesamiento de lenguaje natural (NLP) del transformador de transferencia de texto a texto (T5) para la corrección ortográfica. Con el fin de acelerar la corrección de texto, aprovechan el software de inferencia NVIDIA AI, incluido el servidor de inferencia NVIDIA Triton™ y NVIDIA® TensorRT™, un SDK para la inferencia de deep learning de alto rendimiento.
Resultados de Amazon
Resultados
- 5 veces más velocidad de inferencia con NVIDIA TensorRT y el servidor de inferencia NVIDIA Triton
- Inferencia en tiempo real (<50 ms)
Amazon implementó con éxito el modelo NLP T5 para la corrección automática de la ortografía, acelerado por el servidor de inferencia Triton y TensorRT. Las soluciones NVIDIA ofrecen, respectivamente, menos de 50 ms de latencia de inferencia y 5 veces el rendimiento para el modelo T5, utilizando GPU NVIDIA en Amazon Web Services (AWS). El análisis de modelos Triton también redujo, de semanas a horas, el tiempo necesario para encontrar la configuración de inferencia óptima. Gracias a la IA, los compradores en línea ahora pueden encontrar los productos que desean más rápido y de forma más sencilla, lo que aumenta la satisfacción general del cliente de Amazon.
Acerca de Amazon
Amazon.com, Inc. es una empresa multinacional estadounidense de tecnología enfocada en el comercio electrónico.
«Lo importante es la experiencia del cliente y la barra de búsqueda es el punto de entrada para nuestros clientes de todo el mundo. Gracias al análisis de modelos, lo que antes nos llevaba dos o tres semanas lo podemos hacer en menos de un día. Hemos demostrado que los modelos generativos funcionan mejor en las GPU NVIDIA, eso ha quedado claro. Si podemos llevar la latencia de milisegundos a los modelos más grandes, haremos felices a más clientes. NVIDIA presta atención a lo que importa: optimizar el rendimiento, y son unos socios excelentes, rápidos y proactivos en cuanto a las funciones».
Desarrollador sénior en aprendizaje automático
de Amazon