Plataforma de software NVIDIA DOCA

DOCA permite crear una infraestructura de almacenamiento y caché de clave-valor (KV) nativa de IA para las fábricas de IA modernas. Con NVIDIA DOCA Memos™, los desarrolladores pueden crear un framework agéntico de compartición de caché KV en todo el pod de IA, lo que amplía la capacidad efectiva de memoria de la GPU, reduce la recomputación y aumenta los tokens por segundo para la inferencia agéntica multiturno de contexto largo.

DOCA también acelera los servicios de almacenamiento de próxima generación, como la Non-Volatile Memory Express over Fabrics (NVMe-oF), la virtualización del almacenamiento y los servicios de datos en BlueField. Con DOCA SNAP, los desarrolladores pueden crear dispositivos de almacenamiento definidos por software y soluciones NVMe virtualizadas que descargan el procesamiento de almacenamiento de las CPU host, al tiempo que proporcionan acceso a los datos de alto rendimiento a medida que escalan las cargas de trabajo agénticas.

DOCA proporciona a los desarrolladores los elementos básicos de software para crear servicios de ciberseguridad inteligentes y acelerados por hardware para las fábricas de IA modernas en BlueField. Con DOCA Argus y DOCA Vault, los desarrolladores pueden detectar el comportamiento anómalo de los agentes de IA, supervisar la integridad del sistema y proteger las credenciales, las claves y los activos confidenciales con protección aislada respaldada por hardware.

DOCA también posibilita una seguridad de red de alto rendimiento con DOCA Flow para la inspección de tráfico, la segmentación, la aplicación de políticas, la mitigación de amenazas y el cifrado acelerado directamente en la ruta de datos. Al aislar las funciones de seguridad de las CPU host, DOCA ayuda a mejorar la protección, al tiempo que reduce la sobrecarga a escala de nube.

DOCA Platform Framework (DPF) simplifica el aprovisionamiento de BlueField a escala y gestiona el ciclo de vida completo de los servicios de infraestructura a través de un modelo operativo nativo de Kubernetes. Los desarrolladores y operadores pueden implementar servicios de redes, almacenamiento y seguridad como aplicaciones nativas de la nube, utilizando las API estándar de Kubernetes para automatizar las actualizaciones, el control de políticas, el escalado y las operaciones de día dos.

DPF también admite modelos operativos de host de confianza y de confianza cero para fortalecer el aislamiento entre inquilinos, anfitriones y servicios de infraestructura. DPF, integrado con NVIDIA DSX OS y las distribuciones empresariales líderes de Kubernetes, posibilita operaciones coherentes en nubes privadas, proveedores de servicios y entornos de fábricas de IA a gran escala.

DOCA proporciona observabilidad en tiempo real en todas las redes BlueField y ConnectX, lo que proporciona a los desarrolladores y a los equipos de operaciones una visibilidad profunda del estado, el rendimiento y la utilización de la infraestructura de IA. La transmisión de métricas, eventos, contadores y diagnósticos ayuda a supervisar el rendimiento de la red, la latencia, la actividad de almacenamiento, los servicios de seguridad y el consumo de recursos del sistema en entornos de fábricas de IA distribuidos.

Gracias a la telemetría granular y la información de toda la flota, los equipos pueden detectar anomalías de forma temprana, solucionar cuellos de botella con mayor rapidez y responder a incidentes antes de que afecten a las cargas de trabajo o a la utilización de la GPU. Al integrarse con las plataformas de supervisión y análisis existentes, DOCA Telemetry contribuye a optimizar la eficiencia de la infraestructura, mejorar el tiempo de actividad y mantener un rendimiento predecible a escala.