- クラウド、データセンター、ワークステーション、PC 全体で数億の CUDA 対応 GPU で実行するように最適化された、事前トレーニング済み AI モデル用の GPU アクセラレーテッド NVIDIA NIM マイクロサービスとクラウド エンドポイントの新しいカタログ
- 企業はマイクロサービスを使用して、データ処理、LLM カスタマイズ、推論、Retrieval-Augmented Generation (RAG)、ガードレールを高速化可能
- 主要なアプリケーション プラットフォーム プロバイダーである Cadence、CrowdStrike、SAP、ServiceNow などを含む広範な AI エコシステムで採用
カリフォルニア州サンノゼ – GTC – 2024 年 3 月 18 日 – NVIDIA は本日、企業が自社の知的財産の完全な所有権と管理を維持しながら、独自のプラットフォーム上でカスタム アプリケーションを作成および展開するために使用できる、エンタープライズ グレードの生成 AI マイクロサービスを多数発表しました。
NVIDIA CUDA®プラットフォーム上に構築されたクラウド ネイティブ マイクロ サービスのカタログには、NVIDIA とそのパートナー エコシステムの 20 を超える人気の AI モデルで最適化された推論を行うための NVIDIA NIM™ マイクロサービスが含まれています。さらに、NVIDIA のアクセラレーテッド ソフトウェア開発キット、ライブラリ、ツールが、Retrieval-Augmented Generation (RAG)、ガードレール、データ処理、HPC などのための NVIDIA CUDA-X マイクロサービスとしてアクセスできるようになりました。NVIDIA はまた、20 を超えるヘルスケア NIM および CUDA-X マイクロサービスを個別に発表しました。
厳選されたマイクロサービスにより、NVIDIA のフルスタック コンピューティング プラットフォームに新しいレイヤーが追加されます。このレイヤーは、モデル開発者、プラットフォーム プロバイダー、企業の AI エコシステムを、クラウド、データ センター、ワークステーション、PC にわたる NVIDIA の数億 GPU の CUDA インストール ベースに最適化されたカスタム AI モデルを実行するための標準化されたパスに接続します。
NVIDIA AI Enterprise 5.0 で利用できる新しい NVIDIA 生成 AI マイクロサービスに最初にアクセスする企業には、Adobe、Cadence、CrowdStrike、Getty Images、SAP、ServiceNow、Shutterstock などの主要なアプリケーション、データ、サイバーセキュリティ プラットフォーム プロバイダーが含まれます。
NVIDIA の創業者/CEO であるジェンスン フアン (Jensen Huang) は次のように述べています。「確立されたエンタープライズ プラットフォームは、生成 AI コパイロットに変換できるデータの宝庫にあります。NVIDIA のパートナー エコシステムと協力して作成されたこれらのコンテナ化された AI マイクロサービスは、あらゆる業界の企業が AI 企業になるための構成要素です」
NIM 推論マイクロサービスが展開期間を数週間から数分に短縮
NIM マイクロサービスは、Triton Inference Server™ や TensorRT™-LLM などの NVIDIA 推論ソフトウェアを活用した事前構築済みのコンテナを提供し、開発者は展開期間を数週間から数分に短縮できます。
これらは、言語、音声、創薬などの分野に業界標準の API を提供し、開発者が独自のインフラストラクチャで安全にホストされている独自のデータを使用して AI アプリケーションを迅速に構築できるようにします。これらのアプリケーションはオンデマンドで拡張でき、NVIDIA アクセラレーテッド コンピューティング プラットフォーム上に実稼働で生成 AI を実行するための柔軟性とパフォーマンスを提供します。
NIM マイクロサービスは、NVIDIA、A121、Adept、Cohere、Getty Images、Shutterstock のモデルだけでなく、Google、Hugging Face、Meta、Microsoft、Mistral AI、Stability AI のオープン モデルを展開するための最速かつ最高性能のプロダクション グレードのAI コンテナを提供されます。
ServiceNow は本日、NIM を使用して、新しいドメイン固有のコパイロットやその他の生成 AI アプリケーションをより迅速かつコスト効率よく開発および展開していることを発表しました。
顧客は、Amazon SageMaker、Google Kubernetes Engine、Microsoft Azure AIからNIM マイクロサービスにアクセスし、Deepset、LangChain、およびLlamaIndexなどの一般的な AI フレームワークと統合できるようになります。
RAG、データ処理、ガードレール、HPC のための CUDA-X マイクロサービス
CUDA-X マイクロサービスは、データの準備、カスタマイズ、トレーニングのためのエンドツーエンドの構成要素を提供し、業界全体でのプロダクションAI 開発を迅速化します。
AI の導入を加速するために、企業は、カスタマイズ可能な音声および翻訳 AI 用の NVIDIA Riva、ルート最適化用の NVIDIA cuOpt™ 、高解像度の気候および気象シミュレーション用の NVIDIA Earth-2 などの CUDA-X マイクロサービスを使用できます。
NeMo Retriever™ マイクロサービスを使用すると、開発者は AI アプリケーションをテキスト、画像、棒グラフ、折れ線グラフ、円グラフなどの可視化を含むビジネス データにリンクして、高精度で文脈に関連した応答を生成できます。これらの RAG 機能を使用することで、企業はコパイロット、チャットボット、生成 AI 生産性ツールにさらに多くのデータを提供して、精度と洞察を向上させることが可能となります。
さらに、カスタム モデル開発向けの NVIDIA NeMo™ マイクロサービスが間もなく提供される予定です。これらには、トレーニングと検索用のクリーンなデータセットを構築するための NVIDIA NeMo Curator、ドメイン固有のデータを使用して LLM をファインチューニングするための NVIDIA NeMo Customizer、AI モデルのパフォーマンスを分析するための NVIDIA NeMo Evaluator、および LLM 用の NVIDIA NeMo Guardrails が含まれます。
エコシステムが生成 AI マイクロサービスでエンタープライズ プラットフォームを強化
主要なアプリケーション プロバイダーに加え、NVIDIA エコシステム全体のデータ、インフラストラクチャ、コンピューティング プラットフォーム プロバイダーが NVIDIA マイクロサービスと連携して、生成 AI を企業に提供します。
Box、Cloudera、Cohesity、Datastax、Dropbox、NetApp、Snowflake などの主要なデータ プラットフォーム プロバイダーは、NVIDIA マイクロサービスと連携して、顧客が RAG パイプラインを最適化し、独自のデータを生成 AI アプリケーションに統合できるよう支援しています。SnowflakeはNeMo Retrieverを利用し、AIアプリケーションを構築するために企業データを活用しています。
企業は、NVIDIA AI Enterprise 5.0 に含まれる NVIDIA マイクロサービスを、主要なクラウドである Amazon Web Services (AWS)、Google Cloud、Azure、Oracle Cloud Infrastructure など、選択したインフラストラクチャ全体に導入できます。
NVIDIA マイクロサービスは、Cisco、Dell Technologies、Hewlett Packard Enterprise (HPE)、HP、Lenovo、Supermicro のサーバーやワークステーションを含む 400 以上の NVIDIA-Certified Systems™ でもサポートされています。これとは別に本日、HPE は、NIM および NVIDIA AI Foundation モデルを HPE の AI ソフトウェアに統合する予定であり、生成 AI 向けの HPE エンタープライズ コンピューティング ソリューションを提供することを発表しました。
NVIDIA AI Enterprise マイクロサービスは、VMware Private AI Foundation with NVIDIA を含むインフラストラクチャ ソフトウェア プラットフォームに導入されます。Red Hat OpenShift は、NVIDIA NIM マイクロサービスをサポートし、企業がセキュリティ、コンプライアンス、制御のために最適化された機能を備えた生成 AI 機能をアプリケーションに簡単に統合できるようにします。Canonical は、NVIDIA AI Enterprise を通じて、NVIDIA マイクロサービスに対する Charmed Kubernetes サポートを追加しています。
Abridge、Anyscale、Dataiku、DataRobot、Glean、H2O.ai、Securiti AI、Scale.ai、OctoAI、Weights & Biases など、数百の AI および MLOps パートナーからなる NVIDIA のエコシステムが、NVIDIA AI Enterprise を通じて NVIDIA マイクロサービスのサポートを追加しています。
Apache Lucene、Datastax、Faiss、Kinetica、Milvus、Redis、Weaviate は、NVIDIA NeMo Retriever マイクロサービスと連携して企業向けの応答性の高い RAG 機能を強化するベクトル検索プロバイダーです。
提供時期
開発者は、ai.nvidia.com で NVIDIA マイクロサービスを無料で試すことができます。企業は、NVIDIA-Certified Systems™ および主要なクラウド マーケットプレイスで実行される NVIDIA AI Enterprise 5.0 を使用して、プロダクション グレードの NIM マイクロサービスを展開できます。
詳細については、フアンの GTC 基調講演のアーカイブ視聴をご覧いただくか、3 月 18 日から 21 日までサンノゼ コンベンション センターで開催される GTC の NVIDIA ブースへお越しください。