Télécommunications
AT&T fait appel à NVIDIA pour améliorer la précision, l'efficacité et les performances de ses agents d'IA
Objectif
AT&T, l'une des plus grandes entreprises de télécommunications au monde, réinvente le service client grâce à la puissance de l'IA. En s'appuyant sur une vaste base de données relative à sa clientèle et sur un portefeuille de services numériques en expansion constante, AT&T place l'accent depuis longtemps sur l'innovation et l'efficacité opérationnelle afin de répondre efficacement aux diverses attentes de ses clients. Face à l'augmentation de la demande en matière d'assistance personnalisée et permanente, l'entreprise cherche à faire évoluer ses agents numériques alimentés par l'IA à travers tous ses canaux d'opérations pour fournir un service à la fois plus rapide et plus précis. Face à des défis tels que la dérive des modèles, l'augmentation des demandes de calcul et le besoin d'accéder en temps réel aux données, AT&T s'est tourné vers NVIDIA AI Enterprise, NVIDIA NIM et les microservices NVIDIA NeMo™ pour développer une plateforme d'IA basée sur les retours d'expérience qui améliore constamment les performances tout en optimisant les coûts, la vitesse et la conformité.
Mise à l'échelle des agents d'IA pour le service client avec un volant de données dédié
AT&T a développé les agents d'IA "Ask AT&T" pour répondre aux besoins des clients tout en exécutant des opérations en toute évolutivité. Ces agents améliorent considérablement l'expérience des utilisateurs grâce à des services automatisés dans des champs d'application tels que l'analyse des comptes clients, de manière à recommander des services personnalisés et des mises à niveau logicielles, tout en renforçant la prévention des fraudes et en optimisant les performances du réseau, ce qui a conduit à une diminution d'environ 84 % des besoins en analyse dans les centres d'appels.
Cette initiative fait partie de la stratégie ambitieuse d'AT&T visant à déployer rapidement des dizaines de nouveaux cas d'utilisation reposant sur l'IA, tandis que des centaines d'autres sont actuellement en phase d'étude.
Pour mettre en application sa vision, AT&T a dû surmonter des défis majeurs : réduire la latence, diminuer les coûts d'exploitation et améliorer la précision des modèles qui alimentent ces agents d'IA.
Un autre obstacle majeur réside dans la dérive de la précision des modèles. Près de 10 000 documents pouvant être mis à jour plusieurs fois par semaine, les agents d'IA doivent être actualisés en conséquence avec les informations les plus récentes pour rester suffisamment efficaces.
Afin de pallier ce problème, les équipes d'AT&T ont exploité un volant de données, qui constitue une boucle de rétroaction continue à même de garantir que les systèmes multi-agents restent constamment actualisés et fournissent des performances maximales en toutes circonstances.
Principaux enseignements
Du coût à la performance : comment AT&T a surmonté les différents défis du déploiement de l'IA
L'un des plus gros défis auxquels AT&T a été confronté a résidé dans la réduction de la latence et des coûts dans un contexte d'adoption croissante de l'IA. De plus en plus d'applications s'appuyant sur des solutions axées sur l'IA, les besoins en ressources de calcul ont augmenté de manière exponentielle, c'est pourquoi il est rapidement devenu crucial de trouver un moyen de maintenir des performances élevées tout en optimisant l'efficacité. Trouver le bon équilibre entre rendement et coût est devenu essentiel pour mettre en place des opérations d'IA durables.
AT&T a également dû garantir la disponibilité de données de haute qualité pour l'entraînement et l'optimisation de ses modèles d'IA. Sur le plan technique, le processus de curation et de nettoyage des données est devenu un véritable goulot d'étranglement et, sans une préparation robuste des données, les modèles d'IA couraient le risque d'être entraînés avec des informations obsolètes ou non pertinentes, nuisant par conséquent à leur précision et à leur fiabilité.
La gestion de la complexité des systèmes d'IA multi-agents figurait également parmi les préoccupations les plus pressantes de la société. Dans ce contexte, les agents d'IA devaient être adaptés et optimisés en permanence pour satisfaire à l'environnement commercial hautement dynamique d'AT&T. Pour garantir la pertinence, la sécurité et la performance de ces modèles en temps réel, il était nécessaire d'adopter une approche systématique des processus d'affinage et d'évaluation en continu.
"L'optimisation fructueuse de ce cas d'utilisation et d'autres cas similaires a constitué une preuve suffisante pour nous inciter à poursuivre le développement d'une plateforme d'affinage prenant en charge à la fois notre parc d'utilisateurs et des flux d'affinage différenciés pour diverses tâches."
Kostikey Moustakas
Directeur de la science des données pour AT&T
Développement d'agents d'IA optimisés pour fournir des performances élevées
Pour surmonter ces défis, AT&T a collaboré avec Quantiphi afin de tirer parti de la plateforme NVIDIA AI Enterprise, qui inclut NVIDIA NeMo et les microservices NIM, afin d'implémenter une approche reposant sur les volants de données visant à améliorer en permanence les performances des agents d'IA de la société :
- Affinage de la qualité des données avec NeMo Curator : grâce à l'exploitation de NeMo Curator, AT&T a nettoyé et filtré les données d'entraînement en s'appuyant sur l'expertise de domaine et sur des journaux d'applications. Des techniques telles que la modélisation des sujets et le filtrage itératif ont permis d'utiliser exclusivement des jeux de données de haute qualité.
- Personnalisation des modèles d'IA pour des performances maximales : AT&T a expérimenté divers modèles de base, parmi lesquels Mistral, Mixtral et Llama, à l'aide de NeMo Customizer. Un processus d'ajustement itératif a permis à Mistral 7B de s'imposer en tant que modèle aux performances optimales, équilibrant précision et efficacité de manière optimale.
- Mise en œuvre d'une évaluation rigoureuse : la solution NeMo Evaluator de NVIDIA a permis à AT&T d'établir un système d'évaluation robuste pour mesurer les performances des agents d'IA à l'aide de métriques telles que Rouge, BERT F1, la pertinence des questions et la qualité des réponses. Cette approche rationnelle garantit que les performances du modèle sont évaluées à l'aide des métriques les plus appropriées.
- Prise en compte des informations les plus récentes : AT&T a utilisé NeMo Retriever pour mettre en œuvre des pipelines dédiés avec un accès rapide au référentiel de l'entreprise, afin que les agents puissent prendre des décisions et agir à l'aide d'informations parfaitement actualisées.
- Déploiement sur une infrastructure sécurisée : les modèles sont déployés sous forme de microservices NIM™, qui assurent des performances d'inférence optimales, prennent en charge des API standardisées et offrent suffisamment de polyvalence pour fonctionner sur toute infrastructure accélérée par GPU.
Obtention de résultats exceptionnels grâce à l'optimisation de l'IA
L'implémentation des microservices NVIDIA NIM et NeMo a permis d'obtenir des gains de performances significatifs et de réduire les coûts substantiellement, tout en maintenant une évolutivité et une conformité adaptées aux exigences des entreprises :
- Précision de l'IA accrue : les réponses des agents d'IA ont démontré une précision améliorée jusqu'à 40 % pour des mesures-clés de performance, en particulier au niveau des scores Rouge et BERT F1.
- Réduction de la latence : le déploiement de modèles légers et affinés a permis à AT&T de réduire la charge de calcul tout en continuant de fournir des réponses de haute qualité.
- Amélioration continue de l'IA : l'approche axée sur les volants de données a facilité l'apprentissage en continu, garantissant ainsi que les agents d'IA s'adaptent à l'évolution des besoins commerciaux et du retour des utilisateurs.
Le déploiement d'Ask AT&T avec NVIDIA NIM et NeMo a permis à AT&T de réduire les coûts d'analyse dans ses centres d'appels d'environ 84 %.
Perspectives d'avenir : innover durablement avec l'IA grâce à une approche évolutive reposant sur les retours d'expérience
À l'avenir, AT&T vise à centraliser une boucle de rétroaction pour affiner en permanence la qualité des agents d'IA. En intégrant un système d'évaluation hybride qui s'appuie à la fois sur des opérateurs humains et sur des modèles d'IA en tant que juges, AT&T garantit que son écosystème d'IA reste suffisamment réactif pour répondre aux besoins de chaque entreprise.
En outre, AT&T collabore avec Arize AI pour automatiser l'identification et le traitement des interactions d'IA les plus difficiles. Les modèles sont ainsi évalués et affinés avec rigueur en fonction de retours d'expérience réels, ce qui améliore davantage la précision et la conformité de l'IA.
En affinant ses agents d'IA grâce à NVIDIA NeMo et aux capacités avancées de la plateforme NIM, AT&T améliore non seulement l'efficacité opérationnelle, mais établit également une nouvelle référence en matière de solutions d'IA évolutives et adaptatives.
Développez et alimentez vos agents d'IA avec un volant de données dédié pour obtenir des performances élevées et optimales grâce aux microservices NVIDIA NeMo.