CoRover.ai が NVIDIA NeMo を使用してインド市場にスケーラブルでコスト効率の高い AI を提供

顧客エンゲージメントと運用効率化のため、効果的なコミュニケーションが不可欠な環境において、この言語的多様性に対応できる高度な AI ソリューションの不足が進歩を妨げ、自動化やパーソナライズされたインタラクションの可能性を制限しています。

現在 10 億人以上に利用されている CoRover の対話型 AI プラットフォームは、対話アプリケーション向けに堅牢で安全かつ地域特化型の生成 AI ソリューションを提供することで、この課題に対処しています。

CoRover のプラットフォームの使用を開始する顧客の増加に伴い、同社は対話型 AI プラットフォームを数百万のユーザーをサポートするために拡張する中で、遅延、スループットの制限、パフォーマンスのボトルネックといった課題に直面し始めました。同社はまた、企業の要件を満たし、低い運用コストを維持しながら音声、テキスト、動画にわたって高度にパーソナライズされたマルチモーダル AI 体験を提供するために、強力なコンプライアンスとセキュリティ対策を備えたモジュール型アーキテクチャを必要としていました。

これらの問題に対処するために、CoRover は AI モデルを強化し、市場投入までの時間を短縮するために、実証済みで拡張性のある高性能なインフラストラクチャを必要としました。 CoRover のプラットフォームは、モジュール性と拡張性を実現するために NVIDIA NeMo スタックを活用しています。 このアーキテクチャは高いパフォーマンスと本番環境への迅速な展開を保証し、コスト効率の最適化を実現しながら、人口規模での AI エージェントのデプロイを実現します。

CoRover.ai は、効率的なトレーニングと推論のために NVIDIA A100 および H100 Tensor Core GPU を活用しています。 これらの AI ソリューションは、対話型 AI 向け NVIDIA NeMo と音声 AI 向け NVIDIA® Riva によって強化され、高性能なデプロイを実現するために NVIDIA Triton Inference Server™ や NVIDIA® TensorRT™ により最適化されています。

NVIDIA の高度な技術スタックを統合することで、CoRover は以下を含む大幅な改善を実現しました。

• 応答の高速化: 最初のトークンまでの時間を 70% 短縮し、出力トークンのスループットが 20%～25% 向上し、大規模なリアルタイムの応答を実現しました。
• 効率的な開発: NVIDIA NeMo と早期アクセスツールキットにより開発労力が大幅に削減され、AIパイプラインとモデルのデプロイが効率化されました。
• 生産性の向上: イノベーションに焦点を当てたチームは、トレーニングとデプロイのサイクルが高速化されることで、新製品の市場投入までの時間を短縮しました。
• コスト削減: より多くのユーザーをサポートし、デプロイあたりの ROI を向上させながら、クラウド コンピューティング コストを削減します。
• 持続可能な運用: ワットあたりの処理リクエストが増加することで全体的なエネルギー消費を削減し、持続可能性を強化します。

CoRover は、NVIDIA の技術により、高速な推論機能、マルチ GPU の拡張性、TensorRT と Triton を活用した遅延の最適化など、革新的なメリットを得ました。NeMo の事前トレーニング済みモデルとカスタマイズ フレームワークにより開発時間が大幅に短縮され、高負荷時でもテキスト、音声、動画で応答性が高い人間のようなインタラクションが可能になりました。

NVIDIA により、CoRover は応答時間の短縮と同時実行性の強化を実現し、企業レベルの信頼性で動画と音声サポートを備えた AI 搭載多言語アシスタントを提供できるようになりました。この協業は、リアルタイムの対話型決済や予測自動化を含む、安全で拡張性のあるインテリジェントな対話体験の新たな可能性を切り開きました。