Yotta, Shakti Cloud를 통해 인도 최초의 소버린 AI 인프라 구축

Yotta는 NVIDIA의 AI 플랫폼으로 가속화된 최첨단 클라우드 및 데이터 센터 솔루션을 통해 인도의 AI 환경을 혁신하고 있습니다. 고밀도 데이터 센터 구축부터 사용량 기반 지불 모델을 통한 AI 접근성 확대까지, 모든 규모의 기업이 경제적으로 AI 컴퓨팅 자원을 활용할 수 있도록 지원하고 있습니다.

14억 인구와 300개 이상의 언어 및 방언을 가진 인도에는 현지 언어와 문화적 맥락에 맞게 훈련된 AO 모델이 부족한 상황입니다. Yotta는 이처럼 다양한 언어 및 문화적 환경을 고려한 소버린 AI 모델 개발의 필요성을 일찍이 인지했습니다.

글로벌 기업과의 차별화를 위해 Yotta는 인도 시장에 특화된 고유한 서비스를 제공해야 했습니다. 목표는 인도 내 스타트업과 기업들이 자체 AI 애플리케이션을 구축할 수 있도록 컴퓨팅 인프라와 필수 도구들을 경제적으로 제공하는 것입니다. 나아가, Yotta는 현금 대신 지분을 수락하는 등의 유연한 결제 방식까지 포함한 비용 효율적인 솔루션을 제공하여, AI의 전 과정을 아우르는 생태계에 누구나 접근할 수 있는 환경을 만들고자 했습니다.

Yotta는 NVIDIA의 고도화된 통합 AI 인프라 스택을 활용하여, 특히 현지화 및 소버린 솔루션 분야에서 기존 공급업체와 공격적으로 경쟁할 수 있었습니다. 이 회사는 Shakti Cloud를 구현하기 위해 필요한 확장성과 대규모 처리 성능을 제공할 수 있는 요소로, NVIDIA H100 Tensor Core GPU 및 NVIDIA A100 Tensor Core GPU, 그리고 하드웨어, 소프트웨어, 소프트웨어 개발 키트에 이르는 NVIDIA의 풀스택 AI 에코시스템과 글로벌 리더십을 주목했습니다.

Shakti Cloud는 현재 16,000개 이상의 H100 GPU를 보유하고 있으며, 향후 NVIDIA B200 Tensor Core GPU를 포함한 추가 도입도 예정되어 있습니다. NVIDIA의 레퍼런스 아키텍처가 통합되면서, NVIDIA NVLink™와 NVIDIA Quantum-X800 InfiniBand와 같은 고속 상호연결 기술이 지원되어 Yotta의 AI 및 HPC 워크로드에서 발생하는 주요 데이터 전송 병목 현상을 효과적으로 제거합니다. NVIDIA의 네트워킹 기술은 훈련 시간을 상당히 단축하고 추론 지연 시간을 개선하여 전체 파이프라인의 효율성을 크게 높이고 있습니다.

또한 Yotta는 NVIDIA의 광범위한 소프트웨어 스택을 적극적으로 활용하고 있습니다. NVIDIA AI Enterprise는 프로덕션 환경에 최적화된 컨테이너와 사전 훈련된 모델을 공급하여 고객을 위한 Yotta의 플랫폼 개발 속도를 더욱 높였으며, 다양한 AI 활용 사례를 위한 견고한 기반을 마련했습니다.

또한, AI 워크로드의 배포 및 관리를 위한 서버리스 API인 NVIDIA Cloud Functions(NVCF)는 확장 가능하고 지연 시간이 짧은 추론 서비스를 구현하여, Yotta의 고객들이 AI 기반 애플리케이션을 보다 효율적으로 확장할 수 있도록 지원합니다. 이러한 모든 기능은 차별화된 고성능 AI 인프라를 구축하는 데 핵심적인 역할을 수행하고 있습니다.

Yotta는 NVIDIA 클라우드 파트너(NCP) 레퍼런스 플랫폼으로 선정된 인도 최초의 기업이며, 이는 전 세계적으로도 단 5곳뿐입니다. NVIDIA의 첨단 AI 기술을 Yotta의 서비스에 통합함으로써, 고객은 Rudra 플랫폼을 통해 최첨단 도구와 리소스에 즉시 접근할 수 있습니다. Shakti Cloud의 셀프 서비스 포털과 고도화된 오케스트레이션 레이어는 사용자가 인프라 관리 부담 없이 AI 프로젝트에 집중할 수 있도록 매끄러운 사용자 경험을 제공합니다. 이를 통해 고객 만족도는 물론 운영 효율성까지 향상됩니다.

Yotta의 인프라와 NVIDIA AI Enterprise 소프트웨어에 대한 접근은 인도의 방대한 인구와 다양한 현지 언어 및 방언을 지원할 수 있는 거대 언어 모델(LLM)과 소형 언어 모델(SLM) 개발 속도를 크게 높였으며, 글로벌 AI 허브로서 인도의 인지도를 높이는 데 중요한 역할을 하고 있습니다.

Yotta의 고객사 중 하나인 Sarvam AI는 인도의 고유한 인구 특성을 반영한 LLM을 구축했습니다. Sarvam은 현재 10개 언어로 제공되는 LLM과 콜센터 및 WhatsApp 통합을 위한 음성 기반 에이전틱 AI 솔루션을 보유하고 있습니다. Sarvam은 AI 모델 제공에 있어, 오픈 소스 옵션만 사용할 때보다 20~100%까지 처리량이 향상되는 성과를 거두었습니다. 또한 Kubernetes 클러스터 관리와 서버리스 환경의 자동 확장 배포 관리에 소요되는 시간도 크게 단축했습니다.

Yotta는 Shakti Cloud를 통해 생성형 AI가 인도의 다양한 산업, 특히 개인 맞춤형 의료 분야와 문서 분석을 위한 법률 기술 분야에 깊은 영향을 미칠 것으로 전망합니다. 이러한 유형의 애플리케이션이 인도 경제의 핵심 산업에서 혁신과 효율성을 이끄는 원동력이 될 것이라고 보고 있습니다.

Yotta는 Telangana AI 인프라를 위해 2025년 말까지 GPU 수를 32,768개 이상으로 확장할 계획이며, 소버린 AI 클라우드의 범위를 지속적으로 넓혀가고 있습니다. 또한 NIM™ 마이크로서비스를 통해 소프트웨어 제품군을 고도화하고, 인도 AI 환경 내에서 혁신을 촉진할 수 있는 강력한 에코시스템을 구축할 계획입니다.

Yotta는 AI 인프라와 솔루션을 합리적인 비용에 제공함으로써, 인도가 글로벌 AI 인프라와 혁신의 중심지로 도약하는 데 기여하는 것을 목표로 하고 있습니다.