CoRover.ai ofrece IA escalable y rentable para los mercados indios utilizando NVIDIA NeMo

En un entorno en el que la comunicación eficaz es esencial para la participación de los clientes y la eficiencia operativa, la falta de soluciones de IA avanzadas que puedan navegar por esta diversidad lingüística dificulta el progreso y limita el potencial de automatización e interacciones personalizadas.

La plataforma de IA conversacional de CoRover, utilizada actualmente por más de mil millones de personas, aborda este desafío al ofrecer una solución de IA generativa robusta, segura y adaptada regionalmente para aplicaciones de conversación.

A medida que más clientes comenzaron a utilizar la plataforma de CoRover, la empresa comenzó a enfrentarse a desafíos con la latencia, el ancho de banda limitado y los cuellos de botella de rendimiento al tiempo que escalaba su plataforma de IA conversacional para admitir a millones de usuarios. La empresa también necesitaba una arquitectura modular con fuertes medidas de cumplimiento y seguridad para cumplir con los requisitos empresariales y ofrecer experiencias de IA multimodal altamente personalizadas en voz, texto y vídeo, todo ello manteniendo bajos los costes operativos.

Para abordar estos problemas, CoRover requería una infraestructura probada, escalable y de alto rendimiento para impulsar sus modelos de IA y reducir el tiempo de comercialización. La plataforma de CoRover aprovecha la pila NVIDIA NeMo para la modularidad y la escalabilidad. Esta arquitectura garantiza alto rendimiento y preparación para la producción, lo que permite la implementación de agentes de IA a escala de población al tiempo que optimiza la eficiencia de costes.

CoRover.ai utiliza las GPU NVIDIA A100 y H100 Tensor Core para un entrenamiento e inferencia eficientes. Las soluciones de IA están mejoradas por NVIDIA NeMo para la IA conversacional y NVIDIA® Riva para la IA de voz, y están optimizadas con NVIDIA Triton Inference Server™ y NVIDIA® TensorRT™ para una implementación de alto rendimiento.

Al integrar la pila de tecnología avanzada de NVIDIA, CoRover experimentó mejoras significativas, que incluyen:

• Respuestas más rápidas: el tiempo de generación del primer token se redujo en un 70 % y el rendimiento de tokens de salida aumentó en un 20 %-25%, lo que permite respuestas en tiempo real a escala.
• Desarrollo eficiente: el esfuerzo de desarrollo se redujo drásticamente con NVIDIA NeMo y los kits de herramientas de acceso anticipado, agilizando el proceso de IA y la implementación de modelos.
• Productividad mejorada: los equipos se centraron más en la innovación y los ciclos de entrenamiento e implementación más rápidos aceleraron el tiempo de comercialización de nuevos productos.
• Costes reducidos: reduce los costes de computación en la nube al tiempo que admite a más usuarios y mejora el retorno de la inversión por implementación.
• Operaciones sostenibles: procesó más solicitudes por vatio, reduciendo la huella de energía general y mejorando la sostenibilidad.

CoRover experimentó ventajas transformadoras con la tecnología de NVIDIA, incluidas las capacidades de inferencia de alta velocidad, la escalabilidad de varias GPU y la latencia optimizada a través de TensorRT y Triton. Los modelos preentrenados y el marco de personalización de NeMo redujeron significativamente el tiempo de desarrollo, permitiendo interacciones de alta capacidad de respuesta y similares a las humanas en el texto, la voz y el vídeo, incluso durante las altas cargas de tráfico.

Con NVIDIA, CoRover logró tiempos de respuesta más rápidos y una concurrencia mejorada, lo que permitió a la empresa ofrecer asistentes multilingües impulsados por IA con soporte de vídeo y voz y una fiabilidad de nivel empresarial. Esta colaboración abrió nuevas posibilidades para experiencias de conversación seguras, escalables e inteligentes, incluidos los pagos conversacionales en tiempo real y la automatización predictiva.