CoRover.ai offre IA scalabile e conveniente per i mercati indiani utilizzando NVIDIA NeMo

In un contesto in cui la comunicazione efficace è essenziale per il coinvolgimento dei clienti e l'efficienza operativa, la mancanza di soluzioni di IA avanzate in grado di navigare in questa varietà linguistica ostacola il progresso e limita il potenziale di automazione e interazioni personalizzate.

La piattaforma di IA conversazionale di CoRover, attualmente utilizzata da oltre un miliardo di persone, sta affrontando questa sfida offrendo una soluzione di IA generativa solida, sicura e ottimizzata a livello regionale per applicazioni conversazionali.

Man mano che sempre più clienti hanno iniziato a utilizzare la piattaforma di CoRover, l'azienda ha iniziato ad affrontare sfide relative alla latenza, al throughput limitato e agli intoppi delle prestazioni, scalando la piattaforma di IA conversazionale per supportare milioni di utenti. L'azienda aveva inoltre bisogno di un'architettura modulare con solide misure di conformità e sicurezza per soddisfare i requisiti aziendali e fornire esperienze IA multimodali altamente personalizzate per voce, testo e video, il tutto mantenendo bassi i costi operativi.

Per affrontare questi problemi, CoRover necessitava di un'infrastruttura collaudata, scalabile e ad alte prestazioni per alimentare i suoi modelli di IA e ridurre il time-to-market. La piattaforma di CoRover sfrutta lo stack NVIDIA NeMo per modularità e scalabilità. Questa architettura garantisce prestazioni elevate e disponibilità della produzione, consentendo la distribuzione di agenti di IA su scala di popolazione ottimizzando l'efficienza dei costi.

CoRover.ai utilizza le GPU NVIDIA A100 e H100 Tensor Core per addestramento e inferenza efficienti. Le soluzioni di IA sono migliorate da NVIDIA NeMo per l'IA conversazionale e NVIDIA® Riva per l'IA vocale e sono ottimizzate con NVIDIA Triton Inference Server™ e NVIDIA® TensorRT™ per un'implementazione ad alte prestazioni.

Integrando lo stack tecnologico avanzato di NVIDIA, CoRover ha ottenuto miglioramenti significativi, tra cui:

• Risposte più veloci: il tempo di creazione del token si è ridotto del 70% e il throughput dei token di output è aumentato del 20%–25%, consentendo risposte in tempo reale su vasta scala.
• Sviluppo efficiente: lo sforzo di sviluppo è stato drasticamente ridotto grazie a NVIDIA NeMo e ai toolkit per l'accesso anticipato, che semplificano la pipeline AI e l'implementazione dei modelli.
• Produttività migliorata: i team si sono concentrati di più sull'innovazione e i cicli di formazione e implementazione più rapidi hanno ridotto il time-to-market per i nuovi prodotti.
• Costi ridotti: riduzione dei costi di cloud computing e supporto di un maggior numero di utenti, migliorando il ROI per distribuzione.
• Operazioni sostenibili: ha elaborato più richieste per watt, riducendo l'impronta energetica complessiva e migliorando la sostenibilità.

CoRover ha ottenuto vantaggi trasformativi con la tecnologia NVIDIA, tra cui le funzionalità di inferenza ad alta velocità, la scalabilità multi-GPU e la latenza ottimizzata tramite TensorRT e Triton. I modelli preaddestrati e il framework di personalizzazione di NeMo hanno ridotto significativamente i tempi di sviluppo, consentendo interazioni altamente reattive e umane tra testo, voce e video, anche durante carichi elevati di traffico.

Con NVIDIA, CoRover ha ottenuto tempi di risposta più rapidi e una migliore simultaneità, consentendo all'azienda di offrire assistenti multilingue basati sull'IA con supporto video e vocale con affidabilità di livello aziendale. Questa collaborazione ha sbloccato nuove possibilità per esperienze di conversazione sicure, scalabili e intelligenti, inclusi pagamenti in tempo reale e automazione predittiva.