NVIDIA DOCA ソフトウェア プラットフォーム

DOCA により、最新の AI ファクトリー向けの AI ネイティブなキーバリュー (KV) キャッシュとストレージ インフラの構築が可能になります。NVIDIA DOCA Memos™ を活用することで、開発者は AI ポッド全体でエージェント型 KV キャッシュ共有フレームワークを構築し、実効的な GPU メモリ容量を拡張し、再計算を削減するとともに、長コンテキスト、マルチターン型のエージェント推論における 1 秒あたりのトークン数を向上させることができます。

また、DOCA は、BlueField 上での Non-Volatile Memory Express over Fabrics (NVMe-oF)、ストレージ仮想化、データ サービスを含む次世代ストレージ サービスの高速化にも貢献します。DOCA SNAP を活用することで、開発者は、エージェント型ワークロードの規模拡張に合わせて高性能なデータ アクセスを実現しながら、ホスト CPU からストレージ処理をオフロードする、ソフトウェア デファインド ストレージ アプライアンスと仮想化 NVMe ソリューションを構築できます。

DOCA は、BlueField 上で最新の AI ファクトリー向けに、インテリジェントなハードウェア アクセラレーション対応のサイバーセキュリティ サービスを構築する、ソフトウェアの構築要素を開発者に提供します。DOCA Argus と DOCA Vault を活用することで、開発者は AI エージェントの異常な挙動を検出し、システムの整合性を監視するとともに、ハードウェア基盤の隔離保護機能により、資格情報、キー、機密資産を保護できます。

DOCA はまた、トラフィックの検査、セグメンテーション、ポリシー適用、脅威緩和、およびデータ パス内で直接行われる高速暗号化のための DOCA Flow により、高性能なネットワーク セキュリティを可能にします。DOCA は、ホスト CPU からセキュリティ機能を分離することで、クラウド規模でのオーバーヘッドを削減しながら保護の向上に貢献します。

DOCA Platform Framework (DPF) は、大規模な BlueField のプロビジョニングを簡素化し、Kubernetes ネイティブの運用モデルを通じてインフラ サービスのライフサイクル全体を管理します。開発者やオペレーターは、標準の Kubernetes API を使用してネットワーク、ストレージ、セキュリティ サービスをクラウドネイティブなアプリケーションとしてデプロイし、アップグレード、ポリシー管理、スケーリング、Day2 の運用を自動化できます。

また、DPF は、トラステッド ホストおよびゼロトラストの運用モデルをサポートし、テナント、ホスト、インフラ サービス間の分離を強化しています。NVIDIA DSX OS および主要なエンタープライズ Kubernetes ディストリビューションと統合された DPF は、プライベート クラウド、サービス プロバイダー、大規模 AI ファクトリー環境全体で一貫した運用を可能にします。

DOCA は、BlueField と ConnectX ネットワーク全体にわたってリアルタイムの可観測性を提供し、開発者や運用チームが AI インフラの健全性、パフォーマンス、利用状況を詳細に把握できるようにします。ストリーミング指標、イベント、カウンター、診断機能は、分散型 AI ファクトリー環境全体にわたるネットワーク スループット、遅延、ストレージ アクティビティ、セキュリティ サービス、システム リソースの使用状況を監視するのに役立ちます。

詳細なテレメトリ データとフリート全体のインサイトにより、チームは早期に異常を検出し、ボトルネックをより迅速にトラブルシューティングし、ワークロードや GPU 利用率に影響が出る前にインシデントに対応できます。既存の監視および分析プラットフォームと統合することで、DOCA Telemetry は、インフラ効率の最適化、稼働時間の向上、大規模環境における予測可能なパフォーマンスの維持を支援します。