Plataforma de Software NVIDIA DOCA

DOCA permite la creación de una infraestructura de caché y almacenamiento de clave-valor (KV) nativa de IA para las fábricas de IA modernas. Con NVIDIA DOCA Memos™, los desarrolladores pueden crear un framework para compartir caché de KV agéntica en todo el pod de IA, lo que extiende la capacidad efectiva de memoria de GPU, reduce la recomputación y aumenta los tokens por segundo para una inferencia agéntica de múltiples turnos en contexto largo.

DOCA también acelera los servicios de almacenamiento de última generación, como Non-Volatile Memory Express over Fabrics (NVMe-oF), la virtualización de almacenamiento y los servicios de datos en BlueField. Con DOCA SNAP, los desarrolladores pueden crear dispositivos de almacenamiento definidos por software y soluciones NVMe virtualizadas que descargan el procesamiento de almacenamiento de las CPU host, a la vez que ofrecen acceso a los datos de alto desempeño a medida que escalan las cargas de trabajo agénticas.

DOCA brinda a los desarrolladores los componentes básicos de software para crear servicios de ciberseguridad inteligentes y acelerados por hardware para las fábricas de IA modernas en BlueField. Con DOCA Argus y DOCA Vault, los desarrolladores pueden detectar el comportamiento anómalo de los agentes de IA, monitorear la integridad del sistema y proteger las credenciales, las claves y los recursos confidenciales con protección aislada respaldada por hardware.

DOCA también permite una seguridad de red de alto desempeño con DOCA Flow para la inspección del tráfico, la segmentación, la aplicación de políticas, la mitigación de amenazas y el cifrado acelerado directamente en la ruta de datos. Al aislar las funciones de seguridad de las CPU del host, DOCA ayuda a mejorar la protección, a la vez que reduce los gastos generales a escala de la nube.

DOCA Platform framework (DPF) simplifica el aprovisionamiento de BlueField a escala y administra todo el ciclo de vida de los servicios de infraestructura a través de un modelo operativo nativo de Kubernetes. Los desarrolladores y los operadores pueden implementar servicios de redes, almacenamiento y seguridad como aplicaciones nativas de la nube, usando las API de Kubernetes estándar para automatizar las actualizaciones, el control de políticas, el escalado y las operaciones de día dos.

DPF también admite modelos operativos de host confiables y de confianza cero para fortalecer el aislamiento entre los inquilinos, los hosts y los servicios de infraestructura. DPF, integrado con NVIDIA DSX OS y las distribuciones empresariales líderes de Kubernetes, permite operaciones consistentes en nubes privadas, proveedores de servicios y entornos de fábricas de IA a gran escala.

DOCA proporciona observabilidad en tiempo real en todas las redes BlueField y ConnectX, lo que brinda a los desarrolladores y a los equipos de operaciones una profunda visibilidad del estado, el desempeño y la utilización de la infraestructura de IA. Las métricas, los eventos, los contadores y el diagnóstico de streaming ayudan a monitorear el rendimiento de la red, la latencia, la actividad de almacenamiento, los servicios de seguridad y el consumo de recursos del sistema en entornos distribuidos de fábricas de IA.

Con la telemetría granular y la información de toda la flota, los equipos pueden detectar anomalías de forma temprana, solucionar cuellos de botella más rápido y responder a incidentes antes de que afecten las cargas de trabajo o la utilización de la GPU. Al integrarse con las plataformas de monitoreo y análisis existentes, DOCA Telemetry ayuda a optimizar la eficiencia de la infraestructura, mejorar el tiempo de actividad y mantener un desempeño predecible a escala.