Objetivo
A Amazon melhora a experiência do cliente com verificação ortográfica em tempo real orientada por IA para pesquisa de produtos.
Cliente
Amazon
Caso de Uso
Busca em Tempo Real
Tecnologia
NVIDIA TensorRT, Servidor de Inferência NVIDIA Triton, T5, Triton Model Analyzer
Verificação Ortográfica em Tempo Real para Pesquisa Aprimorada de Produtos
Amazon.com, um dos sites de comércio eletrônico mais visitados do mundo, permite que os clientes comprem com mais facilidade usando um modelo de IA que corrige automaticamente palavras com erros ortográficos nas consultas de pesquisa. A Amazon mede o sucesso de seus resultados de pesquisa acelerada com base na latência, a rapidez com que o corretor ortográfico corrige um erro de digitação e na taxa de transferência, o número de sessões bem-sucedidas.
Soluções da NVIDIA
Para alcançar os resultados desejados, a Amazon usa o modelo de processamento de linguagem natural (PNL) Text-To-Text Transfer Transformer (T5) para correção ortográfica. Para acelerar a correção de texto, eles utilizam o software de inferência de IA da NVIDIA, incluindo o Servidor de Inferência NVIDIA Triton™ e o NVIDIA® TensorRT™, um SDK para inferência de deep learning de alto desempenho.
Resultados da Amazon
Resultados
- Aceleração de inferência de 5 vezes com NVIDIA TensorRT e Servidor de Inferência NVIDIA Triton
- Inferência em tempo real (<50ms)
A Amazon implantou com sucesso o modelo T5 NLP para correção ortográfica automática, acelerada pelo Servidor de Inferência Triton e TensorRT. As soluções NVIDIA forneceram, respectivamente, menos de 50 ms de latência de inferência e 5 vezes a taxa de transferência para o modelo T5, usando GPUs NVIDIA na Amazon Web Services (AWS). O Triton Model Analyzer também reduziu o tempo necessário para encontrar a configuração de inferência ideal de semanas para horas. Com a IA, os compradores online agora podem encontrar os produtos que procuram com mais rapidez e facilidade, aumentando a satisfação geral do cliente da Amazon.
Sobre a Amazon
Amazon.com, Inc. é uma empresa multinacional americana de tecnologia com foco em comércio eletrônico.
“É tudo uma questão de experiência do cliente, e a barra de pesquisa é o ponto de entrada para nossos clientes em todo o mundo. Com o Model Analyzer, o que costumava levar duas ou três semanas, podemos fazer em menos de um dia. Demonstramos que os modelos generativos funcionam melhor em GPUs NVIDIA, isso ficou claro. Se eu conseguir trazer latência de milissegundos para modelos maiores, poderei deixar mais clientes satisfeitos. A NVIDIA se concentra na coisa certa: otimizar o desempenho, e eles são excelentes parceiros, rápidos e responsivos em recursos.”
Desenvolvedor Sênior de Machine Learning
Amazon