Piattaforma software NVIDIA DOCA

DOCA consente la creazione di un'infrastruttura di cache e storage AI-native a valore chiave (KV) per le fabbriche IA moderne. Con NVIDIA DOCA Memos™, gli sviluppatori possono creare un framework di condivisione della cache KV agentica nel pod IA, estendendo la capacità effettiva di memoria delle GPU, riducendo il ricalcolo e aumentando i token al secondo per l'inferenza agentica a lungo contesto e multi-turn.

DOCA accelera anche i servizi di storage di nuova generazione, tra cui Non-Volatile Memory Express over Fabrics (NVMe-oF), la virtualizzazione dello storage e i servizi di dati su BlueField. Con DOCA SNAP, gli sviluppatori possono creare appliance di storage definite da software e soluzioni NVMe virtualizzate che scaricano l'elaborazione dello storage dalle CPU host, offrendo accesso ai dati ad alte prestazioni man mano che i carichi di lavoro agentici scalano.

DOCA offre agli sviluppatori gli elementi costitutivi software per creare servizi di sicurezza informatica intelligenti e accelerati da hardware per le moderne fabbriche IA su BlueField. Con DOCA Argus e DOCA Vault, gli sviluppatori possono rilevare comportamenti anomali degli agenti IA, monitorare l'integrità del sistema e proteggere credenziali, chiavi e risorse sensibili con protezione isolata basata su hardware.

DOCA consente inoltre una sicurezza di rete ad alte prestazioni con DOCA Flow per l'ispezione del traffico, la segmentazione, l'applicazione delle politiche, la mitigazione delle minacce e la crittografia accelerata direttamente nel percorso dei dati. Isolando le funzioni di sicurezza dalle CPU host, DOCA aiuta a migliorare la protezione, riducendo al contempo il sovraccarico su scala cloud.

DOCA Platform Framework (DPF) semplifica il provisioning di BlueField su larga scala e gestisce l'intero ciclo di vita dei servizi dell'infrastruttura attraverso un modello operativo nativo Kubernetes. Sviluppatori e operatori possono distribuire servizi di rete, storage e sicurezza come applicazioni native cloud, utilizzando API Kubernetes standard per automatizzare gli aggiornamenti, il controllo delle politiche, la scalabilità e le operazioni day-two.

DPF supporta anche modelli operativi di host affidabili e zero-trust per rafforzare l'isolamento tra tenant, host e servizi di infrastruttura. Integrato con NVIDIA DSX OS e le principali distribuzioni aziendali Kubernetes, DPF consente operazioni coerenti tra cloud privati, fornitori di servizi e ambienti di fabbriche IA su larga scala.

DOCA fornisce osservabilità in tempo reale nella rete BlueField e ConnectX, offrendo agli sviluppatori e ai team operativi una profonda visibilità sullo stato, sulle prestazioni e sull'utilizzo dell'infrastruttura IA. Le metriche di streaming, gli eventi, i contatori e la diagnostica aiutano a monitorare il throughput di rete, la latenza, l'attività di storage, i servizi di sicurezza e il consumo di risorse di sistema negli ambienti delle fabbriche IA distribuite.

Grazie alla telemetria granulare e alle informazioni a livello di flotta, i team possono rilevare le anomalie in anticipo, risolvere i colli di bottiglia più rapidamente e rispondere agli incidenti prima che abbiano un impatto sui carichi di lavoro o sull'utilizzo delle GPU. Integrandosi con le piattaforme di monitoraggio e analisi esistenti, DOCA Telemetry aiuta a ottimizzare l'efficienza dell'infrastruttura, a migliorare l'operatività e a mantenere prestazioni prevedibili su larga scala.