CoRover.ai fournit une IA évolutive et rentable pour les marchés indiens à l'aide de NVIDIA NeMo

Dans un paysage où une communication efficace est essentielle à l'engagement des clients et à l'efficacité opérationnelle, le manque de solutions d'IA avancées capables de naviguer dans cette variété linguistique freine les progrès et limite le potentiel d'automatisation et d'interactions personnalisées.

La plateforme d'IA conversationnelle de CoRover, qui est actuellement utilisée par plus d'un milliard d'individus, relève ce défi en offrant une solution d'IA générative robuste, sécurisée et adaptée régionalement pour les applications conversationnelles.

À mesure que de plus en plus de clients commençaient à utiliser la plateforme de CoRover, l'entreprise a commencé à être confrontée à des défis liés à la latence, à un débit limité et à des goulets d'étranglement des performances lors de la mise à l'échelle de sa plateforme d'IA conversationnelle pour prendre en charge des millions d'utilisateurs. L'entreprise avait également besoin d'une architecture modulaire avec des mesures de conformité et de sécurité strictes pour répondre aux exigences des entreprises et fournir des expériences d'IA multimodales hautement personnalisées pour la voix, le texte et la vidéo, tout en maintenant des coûts d'exploitation faibles.

Pour résoudre ces problèmes, CoRover avait besoin d'une infrastructure éprouvée, évolutive et hautes performances pour alimenter ses modèles d'IA et réduire les délais de mise sur le marché. La plateforme de CoRover utilise la pile NVIDIA NeMo pour la modularité et l'évolutivité. Cette architecture garantit des performances élevées et une disponibilité en production, ce qui permet de déployer des agents d'IA à l'échelle d'une population tout en optimisant la rentabilité.

CoRover.ai utilise les GPU NVIDIA A100 et H100 Tensor Core pour un entraînement et une inférence efficaces. Les solutions d'IA sont améliorées par NVIDIA NeMo pour l'IA conversationnelle et NVIDIA® Riva pour l'IA vocale, et sont optimisées avec le serveur d'inférence NVIDIA Triton™ et NVIDIA® TensorRT™ pour un déploiement hautes performances.

L'intégration de la pile technologique avancée de NVIDIA a permis à CoRover de bénéficier d'améliorations significatives, notamment :

• Réponses plus rapides : le délai d'obtention du premier jeton a été réduit de 70 % et le débit de jetons de sortie a augmenté de 20 à 25 %, ce qui a permis de fournir des réponses en temps réel à grande échelle.
• Développement efficace : l'effort de développement a été considérablement réduit grâce à NVIDIA NeMo et aux kits d'outils en accès anticipé, ce qui a permis de simplifier le pipeline d'IA et le déploiement du modèle.
• Productivité améliorée : les équipes se sont concentrées davantage sur l'innovation et les cycles d'entraînement et de déploiement ont accéléré les délais de mise sur le marché de nouveaux produits.
• Réduction des coûts : réduction des coûts de calcul cloud tout en prenant en charge un plus grand nombre d'utilisateurs, ce qui améliore le retour sur investissement par déploiement.
• Opérations durables : traitement plus de demandes par watt, ce qui a permis de réduire l'empreinte énergétique globale et d'améliorer la durabilité.

CoRover a constaté des avantages transformateurs grâce à la technologie de NVIDIA, notamment des capacités d'inférence à haute vitesse, une évolutivité multi-GPU et une latence optimisée grâce à TensorRT et Triton. Les modèles pré-entraînés et le framework de personnalisation de NeMo ont considérablement réduit les délais de développement, ce qui a permis des interactions hautement réactives et humaines à travers le texte, la voix et la vidéo, même lors de charges de trafic élevées.

Grâce à NVIDIA, CoRover a réduit les délais de réponse et amélioré la simultanéité, ce qui a permis à l'entreprise d'offrir des assistants multilingues basés sur l'IA avec une assistance vidéo et vocale avec une fiabilité de qualité professionnelle. Cette collaboration a ouvert de nouvelles possibilités pour des expériences conversationnelles sécurisées, évolutives et intelligentes, notamment les paiements en temps réel via des interactions conversationnelles et l'automatisation prédictive.