AT&T impulsa la precisión, la eficiencia y el rendimiento de los agentes de IA con NVIDIA

Para superar estos desafíos, AT&T trabajó con Quantiphi para aprovechar NVIDIA AI Enterprise, que incluye NVIDIA NeMo y los microservicios NIM, para implementar un enfoque de volante de datos para mejorar continuamente el rendimiento de los agentes de IA:

• Refinamiento de la calidad de los datos con NeMo Curator: utilizando NeMo Curator, AT&T limpió y filtró los datos de entrenamiento, aprovechando la experiencia en el dominio y los registros de aplicaciones históricos. Técnicas como el modelado de temas y el filtrado iterativo garantizaron que solo se utilizaran conjuntos de datos de alta calidad.
• Personalización de modelos de IA para el máximo rendimiento: AT&T experimentó con varios modelos de base, incluidos Mistral, Mixtral y Llama, utilizando NeMo Customizer. A través de un proceso de ajuste preciso iterativo, Mistral 7B emergió como el mejor intérprete, equilibrando la precisión y la eficiencia.
• Implementación de evaluación rigurosa: NeMo Evaluator de NVIDIA permitió a AT&T establecer un sistema de evaluación robusto, que mide el rendimiento de los agentes de IA a través de métricas como Rouge, BERT F1, la relevancia de las preguntas y la calidad de las respuestas. Esto garantiza que se mide el rendimiento del modelo en las métricas más apropiadas.
• Actuación en función de la información más reciente: AT&T utilizó NeMo Retriever para configurar canales con acceso rápido al repositorio de la empresa para que los agentes puedan tomar decisiones y actuar utilizando información actualizada.
• Implementación en una infraestructura segura: los modelos se implementan como microservicios NIM™, que ofrecen un rendimiento de inferencia optimizado, admiten API estándar del sector y proporcionan la flexibilidad necesaria para ejecutarse en cualquier infraestructura acelerada por GPU.

La implementación de los microservicios NVIDIA NIM y NeMo produjo mejoras significativas de rendimiento, así como ahorros sustanciales de costes, al tiempo que se mantenía la escalabilidad y el cumplimiento de estándares empresariales:

• Precisión de IA mejorada: las respuestas de los agentes de IA mostraron una mejora de hasta el 40 % en la precisión en las respuestas con el entrenamiento posterior en métricas clave, especialmente en las puntuaciones de Rouge y BERT F1.
• Menor latencia: la implementación de modelos ligeros y ajustados permitió a AT&T reducir la sobrecarga computacional mientras mantenía respuestas de alta calidad
• Mejora sostenida de la IA: el enfoque de volante de datos facilitó el aprendizaje continuo, garantizando que los agentes de IA se adaptasen a las necesidades empresariales en evolución y a los comentarios de los usuarios.

La implementación de Ask AT&T con NVIDIA NIM y NeMo permitió a AT&T lograr una disminución del 84 % en el coste de análisis de centros de llamadas.

Mirando hacia el futuro, AT&T tiene como objetivo centralizar un bucle de retroalimentación para refinar la calidad de los agentes de IA de forma continua. Al integrar un sistema de evaluación híbrido, que aprovecha tanto los revisores humanos como los modelos de IA como jueces, AT&T garantiza que su ecosistema de IA siga respondiendo a las necesidades empresariales.

Además, AT&T, en colaboración con Arize AI, automatiza la identificación y la gestión de interacciones de IA desafiantes. Esto garantiza que los modelos se evalúen y ajusten rigurosamente en función de los comentarios del mundo real, lo que mejora aún más la precisión y el cumplimiento de la IA.

Al refinar sus agentes de IA a través de las capacidades avanzadas de NVIDIA NeMo y NIM, AT&T no solo mejora la eficiencia operativa, sino que también establece un nuevo punto de referencia para las soluciones de IA escalables y adaptativas.