CoRover.ai 公司利用 NVIDIA NeMo 為印度市場提供兼具擴展性與經濟效益的 AI

在一個有效溝通對於客戶互動與營運效率至關重要的環境中，若缺乏能夠因應語言多樣性的先進 AI 解決方案，不僅會阻礙事務的進展，也會對自動化與個人化互動的潛力造成侷限。

CoRover 公司開發的對話式 AI 平台目前已有超過 10 億人在使用，該平台能為對話式應用提供功能強大、安全可靠、且能依不同地區進行調整的生成式 AI 解決方案，致力於克服此一挑戰。

然而，隨著有越來越多的客戶開始使用 CoRove 的平台，該公司在擴展其對話式 AI 平台以滿足數百萬名使用者的同時，開始面臨了延遲、傳輸量有限以及效能瓶頸等挑戰。此外，該公司還需要一個在法規遵循與安全性方面具備完善措施的模組化架構來滿足企業的要求，並且在語音、文字及視訊方面提供高度個人化的多型態 AI 體驗，同時還要能節省營運成本。

為了解決這些問題，CoRover 公司需要一個經實證且可擴展的高效能基礎架構來支援其 AI 模型，並加快產品的上市時間。CoRover 公司開發的平台利用 NVIDIA NeMo 堆疊來實現模組化與擴展性。該架構不僅可以確保高效能，且能準備好投入生產階段，進而能以大規模方式部署 AI 代理，同時實現成本效率最佳化。

CoRover.ai 公司使用 NVIDIA A100 與 H100 Tensor Core GPU 進行高效率的訓練與推論。該公司的 AI 解決方案得力於適用於對話式 AI 的 NVIDIA NeMo 以及適用於語音 AI 的 NVIDIA® Riva 微服務，並利用 NVIDIA Triton Inference Server™ 與 NVIDIA® TensorRT™ 進行了最佳化，因此能實現高效能部署。

CoRover 公司藉由整合 NVIDIA 的先進技術堆疊做出了重大改進，包括：

• 更快的回應速度：生成第一個詞元 (Token) 的時間減少了 70%，輸出詞元的傳輸量則增加了 20%–25%，進而可為大規模使用提供即時回應。
• 高效率的開發作業：在 NVIDIA NeMo 與搶先體驗工具套件的助力之下，不僅大幅減少了開發作業，還能簡化 AI 工作流程與模型部署作業。
• 提高生產力：團隊能夠更專注於創新、更快速進行教育訓練與部署週期，進而可加速新產品的上市時間。
• 降低成本：不僅能為更多使用者提供服務，還可降低雲端運算成本，每一項部署都能有更好的投資報酬率。
• 符合永續精神：每瓦電力可處理更多要求，提升整體的能源效率，加強永續發展實踐。

在 NVIDIA 技術的助力之下，CoRover 公司實現了諸多變革性的效益，包括：高速推論能力、多 GPU 擴展性，以及透過 TensorRT 推論加速器與 Triton 推論伺服器而實現的延遲最佳化。NVIDIA NeMo 的預先訓練模型與自訂框架可大幅縮短開發時間，即使在高流量負載的情況下，也能為文字、語音及視訊提供優異的回應速度與仿真人互動。

憑藉 NVIDIA 的技術，CoRover 公司實現了更快的回應時間與更好的並行性，使該公司能提供具備企業級可靠性以及視訊與語音支援功能的 AI 多語言助理。這項合作也為打造安全可靠、可擴展的智慧型對話體驗開啟了新的可能性，包括：即時對話式支付 (Conversational Payment) 以及預測性自動化 (Predictive Automation)。