Yotta hat Shakti Cloud, Indiens erste souveräne KI-Infrastruktur, entwickelt.

Yotta transformiert Indiens KI-Landschaft mit hochmodernen Cloud- und Rechenzentrumslösungen, die durch die KI-Plattform von NVIDIA beschleunigt werden. Von der Bereitstellung von Rechenzentren mit hoher Dichte bis hin zur Demokratisierung des KI-Zugriffs mit einem Pay-per-Use-Modell macht Yotta die Rechenleistung für KI erschwinglich und für Unternehmen jeder Größe zugänglich.

Indien hat 1,4 Milliarden Einwohner und über 300 verschiedene Sprachen und Dialekte, aber dem Land fehlten KI-Modelle, die mit lokalen Sprachen und kulturellen Kontexten trainiert wurden. Yotta erkannte die Notwendigkeit der Entwicklung souveräner KI-Modelle, um der vielfältigen sprachlichen und kulturellen Landschaft des Landes gerecht zu werden.

Um sich vom globalen Wettbewerb zu differenzieren, musste Yotta einzigartige Dienste anbieten, die auf den indischen Markt zugeschnitten sind. Ziel war es, eine erschwingliche Recheninfrastruktur und die Tools bereitzustellen, die indische Startups und Unternehmen für die Entwicklung eigener KI-Anwendungen benötigen. Letztendlich wollte Yotta den Zugang zum Full-Stack-KI-Technologieumfeld demokratisieren, indem es kostengünstige Lösungen anbot, darunter flexible Zahlungsmodelle wie die Akzeptanz von Eigenkapital statt Bargeld.

Durch den Einsatz des fortschrittlichen, umfassenden Stacks von NVIDIA für KI-Infrastruktur könnte Yotta aggressiv mit bestehenden Anbietern konkurrieren, insbesondere bei lokalisierten und souveränen Angeboten. Das Unternehmen erkannte, dass NVIDIA H100 Tensor Core GPUs und NVIDIA A100 Tensor Core GPUs zusammen mit der globalen Führungsposition von NVIDIA im KI-Bereich und dem Full-Stack-Technologieumfeld von NVIDIA – einschließlich der Hardware, Software und Softwareentwicklungs-Kits – die Größenordnung und Leistung bieten könnten, um Shakti Cloud ins Leben zu rufen.

Insgesamt verfügt Shakti Cloud über 16.000 H100 GPUs und es werden weitere erwartet, darunter NVIDIA B200 Tensor Core GPUs. Die Integration von NVIDIA Referenzarchitektur hat zu Hochgeschwindigkeitsverbindungen wie NVIDIA NVLink™ und NVIDIA Quantum-X800 InfiniBand geführt, um kritische Engpässe bei der Datenübertragung bei den KI- und HPC-Workloads von Yotta effektiv zu beseitigen. Dank der Netzwerktechniken von NVIDIA konnten die Trainingszeiten erheblich reduziert und die Inferenzlatenz verbessert werden, wodurch die Gesamteffizienz der Pipeline gesteigert werden konnte.

Yotta nutzt auch den umfangreichen Software-Stack von NVIDIA. Durch NVIDIA AI Enterprise konnte die Plattformentwicklung von Yotta für seine Kunden noch mehr beschleunigt werden, indem es für den Produktivbetrieb geeignete, optimierte Container und vortrainierte Modelle bereitgestellt hat, die als robuste Grundlage für vielfältige KI-Bereitstellungen dienen.

Darüber hinaus hat NVIDIA Cloud Functions (NVCF), eine serverlose API zur Bereitstellung und Verwaltung von KI-Workloads, skalierbare Inferenzdienste mit niedriger Latenz ermöglicht, sodass die Kunden von Yotta ihre KI-gestützten Anwendungen effizient skalieren können. Insgesamt waren diese Funktionen entscheidend für die Bereitstellung einer differenzierten, leistungsstarken KI-Infrastruktur.

Yotta ist stolz darauf, Indiens erster, und einer von weltweit nur fünf, NVIDIA Cloud-Partner (NCP) für Referenzplattformen zu sein. Durch die Integration der fortschrittlichen KI-Techniken von NVIDIA in die Services von Yotta erhalten Kunden über die Rudra-Plattform direkten Zugriff auf hochmoderne Tools und Ressourcen. Das Self-Service-Portal und die fortschrittliche Orchestrierungsebene in der Shakti Cloud ermöglichen ein nahtloses Benutzererlebnis, sodass sich Kunden ohne den Aufwand für das Infrastrukturmanagement auf ihre KI-Projekte konzentrieren können. Dies verbessert sowohl die Kundenzufriedenheit als auch die betriebliche Effizienz.

Die Infrastruktur von Yotta und der Zugang zu NVIDIA AI Enterprise Software haben die Entwicklung großer Sprachmodelle (LLMs) und kleiner Sprachmodelle (SLMs) in Indien erheblich beschleunigt und dazu beigetragen, Indiens riesige Bevölkerung und Vielfalt an lokalen Sprachen und Dialekten zu bedienen sowie das Land als globalen KI-Hub zu positionieren.

Einer der Kunden von Yotta, Sarvam AI, entwickelt LLMs, um den unterschiedlichen Bedürfnissen der Bevölkerung Indiens gerecht zu werden. Sarvam verfügt über LLMs in 10 verschiedenen Sprachen und agentenbasierte Voice-First-KI-Lösungen für Callcenter und die WhatsApp-Integration. Sarvam hat eine 20–100%ige Verbesserung des Durchsatzes im Vergleich zu reinen Open-Source-Optionen für die Bereitstellung von KI-Modellen verzeichnen können. Es hat zudem die Zeit für die Verwaltung von Kubernetes-Clustern und die Verwaltung von Auto-Scaling-Bereitstellungen für serverlose Bereitstellungen verkürzt.

Shakti Cloud von Yotta trägt dazu bei, dass die generative KI einen tiefgreifenden Einfluss auf verschiedene Branchen in Indien hat, insbesondere in der personalisierten Medizin des Gesundheitswesens und der Dokumentenanalyse von Rechtsdienstleistungen. Das Unternehmen ist davon überzeugt, dass diese Arten von Anwendungen die Innovation und Effizienz in Sektoren vorantreiben werden, die für Indiens Wirtschaft entscheidend sind.

Yotta möchte seine souveräne KI-Cloud-Präsenz weiter ausbauen und plant, seine Telangana-AI-Infrastruktur bis Ende 2025 auf über 32.768 GPUs zu skalieren. Das Unternehmen plant außerdem, seine Softwareangebote mit NIM™ Microservices zu verbessern, um ein robustes Technologieumfeld aufzubauen, das Innovationen in der indischen KI-Landschaft unterstützt.

Das ultimative Ziel von Yotta ist es, erschwingliche KI-Infrastruktur und -Lösungen anzubieten und Indiens Mission zu unterstützen, die Anlaufstelle für KI-Infrastruktur und der Innovations-Hub der Welt zu werden.