Telekommunikation
AT&T verbessert die Genauigkeit, Effizienz und Leistung von KI-Systemen mit NVIDIA
Ziel
AT&T, eines der weltweit größten Telekommunikationsunternehmen, gestaltet den Kundenservice durch die Kraft von KI neu. Mit einem riesigen Kundenstamm und einem wachsenden Portfolio an digitalen Diensten hat AT&T stets auf Innovation und betriebliche Effizienz Wert gelegt, um die sich ändernden Kundenerwartungen zu erfüllen. Da die Nachfrage nach personalisiertem, stets verfügbarem Support weiter wächst, skaliert das Unternehmen KI-gestützte Agenten in allen seinen Betriebsabläufen, um einen schnelleren, genaueren Service zu bieten. Angesichts der Herausforderungen wie Modellabweichungen, steigenden Rechenanforderungen und dem Bedarf an Echtzeit-Datenzugriff entschied sich AT&T für NVIDIA AI Enterprise, NVIDIA NIM und NVIDIA NeMo™ Microservices, um eine feedbackbasierte KI-Plattform zu entwickeln, die die Leistung kontinuierlich verbessert und gleichzeitig Kosten, Geschwindigkeit und Compliance optimiert.
Skalierung von KI-Agenten im Kundenservice mit einem Daten-Flywheel
AT&T hat Ask AT&T KI-Agenten entwickelt, um Kundenanforderungen zu erfüllen und Betriebsabläufe in großem Maßstab auszuführen. Diese Agenten verbessern das Benutzererlebnis durch automatisierte Dienste erheblich, z. B. die Analyse von Kundenkonten, um personalisierte Serviceempfehlungen und Software-Upgrades zu geben. Sie verbessern gleichzeitig die Betrugsprävention und die Optimierung der Netzwerkleistung, was zu einem Rückgang des Bedarfs an Callcenter-Analysen um 84% geführt hat.
Diese Initiative ist Teil der ehrgeizigen Strategie von AT&T, Dutzende von KI-gestützten Anwendungen bereitzustellen, wobei Hunderte weitere in der Pipeline sind.
Um diese Vision zu skalieren, musste AT&T wichtige Herausforderungen bewältigen: Reduzierung der Latenz, Senkung der Betriebskosten und Verbesserung der Genauigkeit der Modelle, die diese KI-Agenten antreiben.
Eine weitere Hürde ist die Abweichung der Modellgenauigkeit. Mit fast 10.000 Dokumenten, die mehrmals pro Woche aktualisiert werden, müssen KI-Agenten mit den aktuellsten Informationen auf dem neuesten Stand gehalten werden, um effektiv zu bleiben.
Um dieses Problem zu lösen, nutzte das Unternehmen ein Daten-Flywheel – eine kontinuierliche Feedback-Schleife, die sicherstellt, dass Multi-Agenten-Systeme auf dem neuesten Stand bleiben und durchgehend Spitzenleistung bieten.
Das Wichtigste im Überblick
Von Kosten zu Leistung: Wie AT&T die Herausforderungen bei der KI-Bereitstellung bewältigt
Eine der größten Herausforderungen, vor der AT&T stand, war die Reduzierung der Latenz und der Kosten mit wachsender KI-Nutzung. Da immer mehr Anwendungen auf KI-gestützte Lösungen setzen, haben die Rechenanforderungen stark zugenommen. Daher ist es entscheidend, eine hohe Leistung aufrechtzuerhalten und gleichzeitig die Effizienz zu optimieren. Das richtige Gleichgewicht zwischen Geschwindigkeit und Kosten zu finden, ist für einen nachhaltigen KI-Betrieb unerlässlich.
AT&T musste außerdem die Verfügbarkeit von hochwertigen Daten für das KI-Training und die Feinabstimmung sicherstellen. Der Prozess der Datenkuratierung und -bereinigung wurde zu einem Engpass. Ohne eine robuste Datenaufbereitung liefen Modelle Gefahr, mit veralteten oder irrelevanten Informationen trainiert zu werden, was sich negativ auf ihre Genauigkeit und Zuverlässigkeit auswirkte.
Die Bewältigung der Komplexität von Multi-Agenten-KI-Systemen war ebenfalls ein dringendes Anliegen. KI-Agenten mussten sich kontinuierlich anpassen und optimieren, um das dynamische Geschäftsumfeld von AT&T zu unterstützen. Um sicherzustellen, dass diese Modelle in Echtzeit relevant, sicher und leistungsstark bleiben, war ein systematischer Ansatz für die laufende Verfeinerung und Bewertung erforderlich.
„Die Erfolgsgeschichte der Feinabstimmung dieses und anderer ähnlicher Anwendungsfälle veranlasste uns, die Entwicklung einer kompletten Feinabstimmungsplattform zu planen, die sowohl Benutzer- als auch differenzierte Feinabstimmungsabläufe für verschiedene Aufgaben unterstützt.“
Kostikey Moustakas
Director of Data Science bei AT&T
Entwicklung optimierter, hochleistungsfähiger KI-Agenten
Um diese Herausforderungen zu bewältigen, hat AT&T mit Quantiphi zusammengearbeitet, um NVIDIA AI Enterprise, einschließlich NVIDIA NeMo und NIM-Microservices für die Implementierung eines Daten-Flywheels zur kontinuierlichen Verbesserung der Leistung von KI-Agenten zu nutzen:
- Verbesserung der Datenqualität mit NeMo Curator: Mit NeMo Curator bereinigte und filterte AT&T Trainingsdaten und nutzte dabei domänenspezifisches Fachwissen und historische Anwendungsprotokolle. Techniken wie Themenmodellierung und iterative Filterung stellten sicher, dass nur hochwertige Datensätze verwendet wurden.
- Anpassung von KI-Modellen für maximale Leistung: AT&T experimentierte mit dem NeMo Customizer und verschiedenen Basismodellen, einschließlich Mistral, Mixtral und Llama. Ein iterativer Feinabstimmungsprozess ergab, dass Mistral 7B Genauigkeit und Effizienz optimal ausbalanciert.
- Implementierung einer strengen Bewertung: Mit dem NeMo Evaluator von NVIDIA konnte AT&T ein robustes Bewertungssystem entwickeln, das die Leistung von KI-Agenten anhand von Metriken wie Rouge, BERT F1, Fragenrelevanz und Antwortqualität misst. Dies stellt sicher, dass die Leistung des Modells anhand der am besten geeigneten Metriken gemessen wird.
- Maßnahmen anhand der neuesten Informationen: AT&T nutzte NeMo Retriever, um Pipelines mit schnellem Zugriff auf das Repository des Unternehmens einzurichten, damit die Agenten auf Basis aktueller Informationen Entscheidungen treffen und Maßnahmen ergreifen können.
- Bereitstellung in einer sicheren Infrastruktur: Die Modelle werden als NIM™-Microservices bereitgestellt, die eine optimierte Inferenzleistung ermöglichen, eine Standard-API der Branche unterstützen und die Flexibilität bieten, in jeder GPU-beschleunigten Infrastruktur ausgeführt zu werden.
Bahnbrechende Ergebnisse mit KI-Optimierung
Die Implementierung von NVIDIA NIM– und NeMo–Microservices hat erhebliche Leistungssteigerungen sowie Kosteneinsparungen ermöglicht, wobei die Skalierbarkeit und Compliance für Unternehmen aufrechterhalten werden konnten:
- Verbesserte KI-Genauigkeit: Die Antworten von KI-Agenten zeigten eine Verbesserung der Genauigkeit der Antworten um bis zu 40 % durch das Nachtraining zu wichtigen Metriken, insbesondere bei den Rouge- und BERT-F1-Scores.
- Niedrigere Latenz: Durch den Einsatz leichter, fein abgestimmter Modelle konnte AT&T die Rechenbelastung senken und gleichzeitig hochwertige Antworten beibehalten.
- Nachhaltige KI-Verbesserung: Der Daten-Flywheel-Ansatz erleichterte das kontinuierliche Lernen und stellte sicher, dass sich KI-Agenten an sich entwickelnde Geschäftsanforderungen und Benutzerfeedback anpassen ließen.
Die Bereitstellung von Ask AT&T mit NVIDIA NIM und NeMo ermöglichte es AT&T, die Analysen von Callcenter-Daten um 84% zu senken.
Der Weg nach vorn: Skalierbare, feedback-gesteuerte KI-Innovation
Zukunftsorientiert strebt AT&T eine Feedback-Schleife zur kontinuierlichen Verbesserung der Qualität von KI-Agenten an. Durch die Integration eines hybriden Bewertungssystems, das sowohl menschliche Prüfer als auch KI-Modelle als Beurteiler nutzt, stellt AT&T sicher, dass sein KI-Ökosystem auf geschäftliche Anforderungen reagiert.
Darüber hinaus automatisiert AT&T in Zusammenarbeit mit Arize AI die Identifizierung und Behandlung von herausfordernden KI-Interaktionen. Dies stellt sicher, dass Modelle gründlich bewertet und basierend auf realem Feedback optimiert werden, was die Genauigkeit und Einhaltung der KI-Vorschriften weiter verbessert.
Durch die Verbesserung seiner KI-Agenten durch NVIDIA NeMo und die fortschrittlichen Funktionen des Neural Information Model (NIM) verbessert AT&T nicht nur die betriebliche Effizienz, sondern setzt auch einen neuen Benchmark für skalierbare und adaptive KI-Lösungen.
Entwickeln und unterstützen Sie Ihre KI-Agenten mit einem Daten-Flywheel, um mit NVIDIA NeMo-Microservices eine optimierte Spitzenleistung zu erzielen.