CoRover.ai bietet skalierbare und kosteneffiziente KI für indische Märkte mit NVIDIA NeMo

In einem Umfeld, in dem effektive Kommunikation sowohl für die Kundenbindung als auch für die betriebliche Effizienz unentbehrlich ist, hemmt der Mangel an fortschrittlichen KI-Lösungen, die diese sprachliche Vielfalt meistern können, den Fortschritt und begrenzt das Potenzial für die Automatisierung und personalisierte Interaktionen.

Die Gesprächs-KI-Plattform von CoRover, die derzeit von über einer Milliarde Menschen genutzt wird, bewältigt diese Herausforderung durch das Angebot einer robusten, sicheren und regional abgestimmten generativen KI-Lösung für Gesprächsanwendungen.

Als immer mehr Kunden begannen, die Plattform von CoRover zu nutzen, stand das Unternehmen vor Herausforderungen hinsichtlich der Latenz, begrenztem Durchsatz und Leistungsengpässen bei der Skalierung seiner Gesprächs-KI-Plattform für die Unterstützung von Millionen von Benutzern. Das Unternehmen benötigte zudem eine modulare Architektur mit starken Compliance- und Sicherheitsmaßnahmen, um die Unternehmensanforderungen zu erfüllen und hochgradig personalisierte, multimodale KI-Erlebnisse in den Bereichen Sprache, Text und Video bereitzustellen sowie die Betriebskosten gering zu halten.

Um diese Probleme zu lösen, benötigte CoRover eine felderprobte, skalierbare und leistungsstarke Infrastruktur zur Unterstützung seiner KI-Modelle und zur Verkürzung der Markteinführungszeit. Die Plattform von CoRover nutzt den NVIDIA NeMo-Stack für Modularität und Skalierbarkeit. Diese Architektur sorgt für hohe Leistung und Produktionsbereitschaft und ermöglicht die Bereitstellung von KI-Agenten im Bevölkerungsmaßstab und bei gleichzeitiger Optimierung der Kosteneffizienz.

CoRover.ai nutzt NVIDIA A100 und H100 Tensor Core GPUs für effizientes Training und Inferenz. Die KI-Lösungen werden durch NVIDIA NeMo für Gesprächs-KI und NVIDIA® Riva für Sprach-KI verbessert und mit NVIDIA Triton Inference Server™ und NVIDIA® TensorRT™ für eine leistungsstarke Bereitstellung optimiert.

Durch die Integration des fortschrittlichen Technologie-Stacks von NVIDIA konnte CoRover erhebliche Verbesserungen verzeichnen, darunter:

• Schnellere Antworten: Die Zeit bis zum ersten Token wurde um 70 % verkürzt und der Durchsatz der Ausgabetoken stieg um 20–25 %, was Echtzeit-Antworten in großem Maßstab ermöglicht.
• Effiziente Entwicklung: Der Entwicklungsaufwand konnte mit NVIDIA NeMo und Early-Access-Toolkits drastisch reduziert werden, wodurch die KI-Pipeline und die Modellbereitstellung optimiert werden konnten.
• Verbesserte Produktivität: Die Teams konzentrierten sich mehr auf Innovationen und schnellere Trainings- und Bereitstellungszyklen beschleunigten die Markteinführungszeit für neue Produkte.
• Reduzierte Kosten: Niedrigere Cloud-Computing-Kosten bei gleichzeitiger Unterstützung von mehr Benutzern und Verbesserung der Rentabilität pro Bereitstellung.
• Nachhaltiger Betrieb: Es konnten mehr Anfragen pro Watt verarbeitet werden, wodurch die Gesamtenergiebilanz und die Nachhaltigkeit verbessert werden konnten.

Die Technik von NVIDIA verhalf CoRover zu Vorteilen transformativer Art, darunter Hochgeschwindigkeits-Inferenzfunktionen, Multi-GPU-Skalierbarkeit und optimierte Latenz durch TensorRT und Triton. Die vortrainierten Modelle und das Anpassungs-Framework von NeMo reduzierten die Entwicklungszeiten erheblich und ermöglichten hochgradig reaktionsschnelle, menschenähnliche Interaktionen in den Bereichen Text, Sprache und Video auch bei intensivem Datenverkehr.

Mit NVIDIA konnte CoRover schnellere Antwortzeiten und eine verbesserte Parallelverarbeitung erzielen, sodass das Unternehmen jetzt mehrsprachige, KI-gestützte Assistenten mit Video- und Sprachunterstützung mit Zuverlässigkeit auf Unternehmensniveau anbieten kann. Diese Zusammenarbeit hat neue Möglichkeiten für sichere, skalierbare und intelligente Gesprächserlebnisse eröffnet, einschließlich Conversational-Zahlungen in Echtzeit und vorausschauender Automatisierung.