全球公共部門
Yotta 公司運用 Shakti Cloud 平台建立印度的第一個主權 AI 基礎架構
目標
Yotta 公司致力於為印度的每個人提供高階雲端與資料中心服務，並專注於 AI 技術。該公司正在持續建立高密度 AI 基礎架構，以滿足印度爆炸性成長的 AI 與雲端運算需求，而且要以負擔得起的價格來提供這些服務，以支持印度成為全球 AI 樞紐的使命。
印度 Yotta 公司與 NVIDIA 攜手合作，打造了印度的第一個 AI 基礎架構平台「Shakti Cloud」，能為想要開發及部署大型語言模型的客戶提供高階運算服務，這是印度國內首次實現這樣的能力。
客戶
Yotta Data Services Private Limited — NCP 合作夥伴
使用案例
AI 基礎架構
資料中心 / 雲端
產品
NVIDIA DGX
NVIDIA AI Enterprise
Yotta
打造印度自立自主的 AI 未來
在 NVIDIA AI 平台的助力之下，Yotta 公司正利用尖端資料中心與雲端運算解決方案，持續為印度的 AI 態勢帶來變革。無論是部署高密度資料中心，或是透過隨需付費模式來實現 AI 普及化，Yotta 公司正致力於為各種規模的企業提供更容易普及、價格更合宜的 AI 運算服務。
印度目前有 14 億人口，還有超過 300 種不同的語言與方言，但卻缺乏根據當地語言與文化背景來進行訓練的 AI 模型。Yotta 公司認知到開發主權 AI 模型的必要性，以滿足印度多樣化的語言與文化環境所衍生而來的獨特需求。
為了能在全球競爭中脫穎而出，Yotta 公司必須提供專為印度市場打造的獨特服務。其目標是為印度的新創公司與企業提供負擔得起的運算基礎架構及工具，讓他們能用來打造自己的 AI 應用。Yotta 公司的最終目標是使完整堆疊 AI 生態系統更為普及，方法就是提供兼顧成本效益的解決方案，包括接受彈性的付費方式（例如，可接受股權，而非只能使用現金來支付）。
Shakti Cloud：印度的第一個主權 GPU 雲端運算
藉由採用 NVIDIA 全方位的先進 AI 基礎架構堆疊，使 Yotta 公司能與現有的其他供應商積極競爭，尤其是在本地化與主權 AI 服務方面。該公司證明了，採用 NVIDIA H100 Tensor 核心 GPU 與 NVIDIA A100 Tensor 核心 GPU，再加上 NVIDIA 引領全球的 AI 技術以及完整堆疊生態系統（包括：硬體、軟體及軟體開發套件），可提供成功打造 Shakti Cloud 平台所需的規模與效能。
Shakti Cloud 平台總共使用了超過 16,000 個 H100 GPU，且還在持續增加當中，包括 NVIDIA B200 Tensor 核心 GPU。NVIDIA 參考架構的整合已轉化為 NVIDIA NVLink™ 與 NVIDIA Quantum-X800 InfiniBand 等高速互連技術，能為 Yotta 公司的 AI 與 HPC 工作負載有效解決關鍵的資料傳輸瓶頸問題。NVIDIA 的網路連結技術不僅大幅減少了訓練時間，並改善了推論延遲，進而提升了整體工作流程的效率。
此外，Yotta 公司也受益於 NVIDIA 廣泛的軟體堆疊。NVIDIA AI Enterprise 軟體平台所提供的生產級最佳化容器與預先訓練模型，可進一步加速 Yotta 公司的平台開發作業，為多樣化的 AI 部署奠定堅實可靠的基礎。
除此之外，NVIDIA Cloud Functions (NVCF) 這款可用於部署及管理 AI 工作負載的無伺服器 API，已實現了可擴展的低延遲推論服務，使 Yotta 公司的客戶能以絕佳效率擴展其 AI 應用程式。在這些功能的相輔相成之下，對於打造出可在市場上脫穎而出的高效能 AI 基礎架構發揮了重要作用。
「在 Yotta 公司，我們的使命就是要打造出印度最大規模的主權 AI 超級雲 (Supercloud)，我們採用了成千上萬個 NVIDIA H100 GPU 以及新一代 B200 晶片。我們與 NVIDIA 的合作夥伴關係不僅為領先業界的 Shakti Cloud 平台提供了助力，而且還有助各種規模的企業加速推動 AI 創新，使得尖端 AI 技術在印度變得更普及、更能持續發展。」
Yotta 公司共同創辦人、常務董事暨執行長 Sunil Gupta
印度的第一家 NVIDIA 雲端合作夥伴
Yotta 公司很驕傲能成為印度的第一家（也是全球僅五家公司之一）參考平台 NVIDIA 雲端合作夥伴 (NCP)。藉由將 NVIDIA 的先進 AI 技術整合至 Yotta 公司的服務之中，使該公司能透過其 Rudra 平台讓客戶快速存取最先進的工具與資源。Shakti Cloud 平台的自助式入口網站與先進協作層，可提供順暢無礙的使用者體驗，使客戶能專注於他們的 AI 專案，而免除了管理基礎架構的繁重負擔。如此一來，不僅提高了客戶滿意度，營運效率也大為提升。
Yotta 公司的基礎架構加上 NVIDIA AI Enterprise 軟體，大幅加速了印度大型語言模型 (LLM) 及小型語言模型 (SLM) 的開發工作，這些模型不僅能滿足印度龐大的人口以及當地眾多語言與方言的獨特需求，還有助於印度成為全球 AI 樞紐。
Yotta 公司的其中一家客戶 Sarvam AI 即建立了能滿足印度獨特人口需求的大型語言模型。Sarvam AI 公司共有 10 種不同語言的大型語言模型，以及適用於客服中心與 WhatsApp 整合的語音優先代理型 AI 解決方案。相較於只使用開源模型，Sarvam AI 公司在提供 AI 模型方面使傳輸量提升了 20%–100%。此外，還減少了管理 Kubernetes 叢集的所需時間，在管理無伺服器部署的自動擴展部署上也更為省時。
透過 Shakti Cloud 平台，Yotta 公司看見生成式 AI 能對印度的各種產業帶來深遠的影響，尤其是在個人化醫療保健領域，以及用於文件分析的法律科技方面。該公司確信，這些類型的 AI 應用將在對印度經濟至關重要的各大領域推動創新與效率。
展望未來
Yotta 公司將繼續擴展其主權 AI 雲端足跡，並計畫於 2025 年底前將其 Telangana AI 基礎架構擴展為超過 32,768 個 GPU 的規模。此外，該公司也計畫利用 NIM™ 微服務來加強其軟體產品，建立陣容強大的生態系統，以促進印度在 AI 領域的創新。
Yotta 公司的最終目標就是要以合宜的價位提供 AI 基礎架構與解決方案，以實現印度成為全球 AI 基礎架構與創新樞紐的使命。
準備好開始了嗎？
若想深入瞭解 NVIDIA 適用於全球公共部門的解決方案，歡迎與我們聯絡。