Obiettivo
Amazon migliora l'esperienza cliente con il controllo ortografico in tempo reale basato sull'IA per la ricerca dei prodotti.
Cliente
Amazon
Scenario di utilizzo
Ricerca in tempo reale
Tecnologia
NVIDIA TensorRT, NVIDIA Triton Inference Server, T5, Triton Model Analyzer
Controllo ortografico in tempo reale per una ricerca potenziata dei prodotti
Amazon.com, uno dei siti di e-commerce più visitati al mondo, consente ai clienti di acquistare con facilità utilizzando un modello di intelligenza artificiale che corregge automaticamente le parole errate nelle query di ricerca. Amazon misura il successo dei risultati di ricerca accelerati in base alla latenza, ovvero la velocità con cui il correttore ortografico corregge un errore di battitura, e il throughput, ovvero il numero di sessioni riuscite.
Soluzioni NVIDIA
Per ottenere i risultati desiderati, Amazon utilizza il modello di elaborazione del linguaggio naturale (NLP) Text-To-Text Transfer Transformer (T5) per la correzione ortografica. Per accelerare la correzione del testo, sfrutta il software di inferenza NVIDIA AI, tra cui NVIDIA Triton™ Inference Server e NVIDIA® TensorRT™, un SDK per l'inferenza di deep learning ad alte prestazioni.
Risultati Amazon
I risultati di
- velocità di inferenza sono 5 volte superiori con NVIDIA TensorRT e NVIDIA Triton Inference Server
- Inferenza in tempo reale (<50ms)
Amazon ha implementato con successo il modello T5 di NLP per la correzione ortografica automatica, accelerata da Triton Inference Server e TensorRT. Le soluzioni NVIDIA hanno fornito rispettivamente meno di 50 ms di latenza di inferenza e 5 volte il throughput per il modello T5, utilizzando le GPU NVIDIA su Amazon Web Services (AWS). Il Triton Model Analyzer ha inoltre ridotto il tempo necessario per trovare la configurazione ottimale dell'inferenza da settimane a ore. Con l’IA, gli acquirenti online possono ora trovare i prodotti che stanno cercando più rapidamente e facilmente, aumentando la soddisfazione complessiva dei clienti di Amazon.
Informazioni su Amazon
Amazon.com, Inc. è una multinazionale americana incentrata sul commercio elettronico.
"Riguarda l’esperienza cliente e la barra di ricerca è il punto di ingresso per i nostri clienti a livello mondiale. Con Model Analyzer, quello che si faceva in due o tre settimane, ora lo possiamo fare in meno di un giorno. Abbiamo dimostrato che i modelli generativi funzionano meglio sulle GPU NVIDIA, questo punto è stato chiaro. Se riesco a portare latenza di millisecondi a modelli più grandi, posso soddisfare più clienti. NVIDIA si concentra sulla cosa giusta: ottimizzare le prestazioni, ed è un partner eccellente, veloce e reattivo sulle funzionalità".
Sviluppatore di apprendimento automatico senior
di Amazon