CoRover.ai, NVIDIA NeMo로 인도 시장에 확장 가능하고 비용 효율적인 AI 제공

고객과의 소통과 운영 효율성이 중요한 환경에서, 다양한 언어를 자유롭게 다룰 수 있는 고도화된 AI 솔루션의 부재는 자동화와 맞춤형 응대의 가능성을 제한하고 전반적인 발전을 가로막고 있습니다.

현재 10억 명이 넘는 사람들이 사용 중인 CoRover의 대화형 AI 플랫폼은, 신뢰할 수 있고 안전하며 지역 특성에 최적화된 생성형 AI 솔루션을 통해 이러한 문제를 해결해 나가고 있습니다.

더 많은 고객이 CoRover의 플랫폼을 사용하게 되면서, 이 회사는 수백만 명의 사용자를 지원하기 위해 대화형 AI 플랫폼을 확장하는 과정에서 지연 시간 증가, 처리량 제한, 성능 병목 현상 발생 등의 문제에 직면하게 되었습니다. 또한 엔터프라이즈 요구 사항을 충족하고 음성, 텍스트, 영상 분야에서 고도로 개인화된 멀티모달 AI 경험을 제공하면서도 낮은 운영 비용을 유지하기 위해 강력한 규정 준수와 보안 기능을 갖춘 모듈형 아키텍처가 필요했습니다.

이러한 문제를 해결하기 위해 CoRover는 AI 모델을 구동하고 시장 출시 시간을 단축할 수 있는 검증된 고성능의 확장형 인프라가 필요했습니다. CoRover의 플랫폼은 모듈형과 확장성을 위해 NVIDIA NeMo 스택을 활용합니다. 이 아키텍처는 높은 성능과 프로덕션 환경에 대한 준비 태세를 갖추고 있어, 비용 효율성을 극대화하면서 인구 규모 수준의 AI 에이전트 배포를 가능하게 합니다.

CoRover.ai는 NVIDIA A100 및 H100 Tensor Core GPU를 활용하여 효율적인 훈련과 추론을 수행합니다. 이 AI 솔루션은 대화형 AI를 위한 NVIDIA NeMo와 음성 AI를 위한 NVIDIA® Riva를 통해 성능이 향상되었으며, NVIDIA Triton Inference Server™와 NVIDIA® TensorRT™를 통해 고성능 배포 환경에 최적화되어 있습니다.

CoRover는 NVIDIA의 첨단 기술 스택을 통합하여 다음과 같은 주요 성과를 얻었습니다.

• 더 빠른 응답 속도: 첫 번째 토큰 생성 시간을 70% 단축하고, 출력 토큰 처리량을 20~25%까지 향상시켜 대규모 실시간 응답을 가능하게 합니다.
• 효율적인 개발: NVIDIA NeMo와 얼리 액세스 툴킷을 통해 개발에 소요되는 노력을 크게 줄이고, AI 파이프라인과 모델 배포 과정을 간소화합니다.
• 생산성 향상: 팀은 혁신에 더 집중하고, 훈련 및 배포 주기의 단축으로 신제품의 시장 출시 시간 속도가 가속화됩니다.
• 비용 절감: 더 많은 사용자를 지원하면서 클라우드 컴퓨팅 비용을 절감하여 배포당 ROI를 개선합니다.
• 지속 가능한 운영: 와트당 처리 가능한 요청 수를 늘려 전반적인 에너지 소비를 줄이고 지속 가능성을 강화합니다.

CoRover는 NVIDIA 기술을 도입하면서 큰 변화를 경험했는데, 고속 추론 성능, 멀티 GPU 확장성, 그리고 TensorRT와 Triton을 통한 지연 시간 최적화 같은 다양한 이점을 얻었습니다. NeMo의 사전 학습 모델과 맞춤화 프레임워크 덕분에 개발 시간이 크게 줄었고, 트래픽이 몰리는 상황에서도 텍스트, 음성, 영상 전반에 걸쳐 빠르고 사람 같은 자연스러운 응답이 가능해졌습니다.

NVIDIA 기술을 활용해 CoRover는 응답 속도를 높이고 동시 처리 성능을 강화했으며, 그 결과 기업 수준의 안정성을 갖춘 다국어 AI 어시스턴트를 영상과 음성 기능까지 포함해 제공할 수 있게 됐습니다. 이 협업은 실시간 대화형 결제, 예측 기반 자동화를 포함한 안전하고 확장 가능하며 지능적인 대화형 경험을 위한 새로운 가능성을 제시했습니다.