Plateforme logicielle NVIDIA DOCA

DOCA permet la création d'une infrastructure de cache KV (key-value) et de stockage native de l'IA pour les usines d'IA modernes. Avec NVIDIA DOCA Memos™, les développeurs peuvent créer un framework de partage de cache KV agentique sur l'ensemble du pod de l'IA, étendant ainsi la capacité effective de mémoire GPU, réduisant les besoins de recalcul et augmentant le nombre de jetons par seconde pour une inférence agentique multi-tours à long contexte.

DOCA accélère également les services de stockage de nouvelle génération, notamment Non-Volatile Memory Express over Fabrics (NVMe-oF), la virtualisation du stockage et les services de données sur BlueField. Avec DOCA SNAP, les développeurs peuvent créer des appliances de stockage définies par logiciel et des solutions NVMe virtualisées qui déchargent le traitement du stockage des CPU hôtes tout en fournissant un accès aux données haute performance à mesure que les charges de travail agentiques évoluent.

DOCA fournit aux développeurs les composants logiciels nécessaires pour créer des services de cybersécurité intelligents et accélérés par le matériel pour les usines d'IA modernes sur BlueField. Grâce à DOCA Argus et DOCA Vault, les développeurs peuvent détecter un comportement anormal des agents d'IA, surveiller l'intégrité du système et sécuriser les informations d'identification, les clés et les ressources sensibles avec une protection matérielle isolée.

DOCA permet également une sécurité réseau haute performance avec DOCA Flow pour l'inspection du trafic, la segmentation, l'application de politiques, l'atténuation des menaces et le chiffrement accéléré directement dans le chemin des données. En isolant les fonctions de sécurité des CPU hôtes, DOCA contribue à améliorer la protection tout en réduisant les frais généraux à l'échelle du Cloud.

Le DOCA Platform framework (DPF) simplifie l'approvisionnement de BlueField à grande échelle et gère l'ensemble du cycle de vie des services d'infrastructure grâce à un modèle d'exploitation natif de Kubernetes. Les développeurs et les opérateurs peuvent déployer des services de mise en réseau, de stockage et de sécurité en tant qu'applications Cloud-natives, en utilisant des API Kubernetes standard pour automatiser les mises à niveau, les fonctionnalités de contrôle, la mise à l'échelle et les opérations jour 2.

DPF prend également en charge les modèles d'exploitation d'hôtes fiables et zero-trust afin de renforcer l'isolation entre les locataires, les hôtes et les services d'infrastructure. Intégrée à NVIDIA DSX OS et aux principales distributions Kubernetes d'entreprise, DPF permet des opérations cohérentes sur les Clouds privés, les fournisseurs de services et les environnements d'usine d'IA à grande échelle.

DOCA fournit une observabilité en temps réel sur l'ensemble de la mise en réseau BlueField et ConnectX, offrant aux développeurs et aux équipes opérationnelles une visibilité approfondie sur l'état, les performances et l'utilisation de l'infrastructure d'IA. Les métriques, les événements, les compteurs et les diagnostics de streaming permettent de surveiller le débit de mise en réseau, la latence, l'activité de stockage, les services de sécurité et la consommation de ressources système dans les environnements d'usine d'IA distribués.

Grâce à une télémétrie granulaire et à des informations à l'échelle du parc, les équipes peuvent détecter les anomalies plus tôt, résoudre les goulets d'étranglement plus rapidement et répondre aux incidents avant qu'ils n'aient des répercussions sur les charges de travail ou l'utilisation des GPU. En s'intégrant aux plateformes de surveillance et d'analyse existantes, DOCA Telemetry contribue à optimiser l'efficacité de l'infrastructure, à améliorer la disponibilité et à maintenir des performances prévisibles à grande échelle.