Ziel
Amazon verbessert das Kundenerlebnis mit einer KI-gestützten Rechtschreibprüfung in Echtzeit für die Produktsuche.
Kunde
Amazon
Anwendungsfall
Suche in Echtzeit
Technologie
NVIDIA TensorRT, NVIDIA Triton Inference Server, T5, Triton Model Analyzer
Rechtschreibprüfung in Echtzeit für verbesserte Produktsuche
Amazon.com, eine der meistbesuchten E-Commerce-Websites der Welt, vereinfacht Kunden den Einkauf mit einem KI-Modell, das automatisch falsch geschriebene Wörter in Suchanfragen korrigiert. Amazon misst den Erfolg seiner beschleunigten Suchergebnisse anhand der Latenz – wie schnell die Rechtschreibprüfung einen Tippfehler korrigiert – und anhand des Durchsatzes – der Anzahl erfolgreicher Sitzungen.
NVIDIA-Lösungen
Um die gewünschten Ergebnisse zu erzielen, verwendet Amazon das Modell der natürlichen Sprachverarbeitung (NLP) des Text-zu-Text-Transfertransformators (T5) zur Rechtschreibkorrektur. Zur Beschleunigung der Textkorrektur nutzt das Unternehmen die KI-Inferenzsoftware von NVIDIA, einschließlich NVIDIA Triton™ Inference Server und NVIDIA® TensorRT™, ein SDK für hochleistungsfähige Deep-Learning-Inferenz.
Ergebnisse von Amazon
Ergebnisse
- 5-faches Inferenz-Geschwindigkeitswachstum mit NVIDIA TensorRT und NVIDIA Triton Inference Server
- Echtzeit-Inferenz (<50 ms)<50 ms)
Amazon hat das T5 NLP-Modell für die automatische Rechtschreibkorrektur, das von Triton Inference Server und TensorRT beschleunigt wird, erfolgreich eingesetzt. Die NVIDIA-Lösungen lieferten jeweils unter 50 ms Inferenzlatenz und den 5-fachen Durchsatz für das T5-Modell, wobei NVIDIA-GPUs auf Amazon Web Services (AWS) verwendet wurden. Der Triton Model Analyzer reduzierte auch die Zeit, die für die Ermittlung der optimalen Inferenzkonfiguration benötigt wurde, von Wochen auf Stunden. Mit KI können Online-Käufer die Produkte, nach denen sie suchen, schneller und einfacher finden, was die allgemeine Kundenzufriedenheit bei Amazon steigert.
Über Amazon
Amazon.com, Inc. ist ein amerikanisches multinationales Technologieunternehmen, das sich auf E-Commerce konzentriert.
„Das Wichtigste ist das Kundenerlebnis, und die Suchleiste ist der Einstiegspunkt für unsere Kunden auf der ganzen Welt. Mit Model Analyzer können wir Dinge, für die wir früher zwei oder drei Wochen brauchten, in weniger als einem Tag erledigen. Wir haben gezeigt, dass generative Modelle am besten auf NVIDIA-GPUs funktionieren, das war klar. Wenn ich Millisekunden-Latenz bei größeren Modellen liefern kann, kann ich mehr Kunden glücklich machen. NVIDIA konzentriert sich auf das Richtige: Optimierung für Leistung, und sie sind hervorragende und ansprechbare Partner, die schnell auf Anforderungen reagieren.“
Leitender Entwickler für maschinelles Lernen
Amazon