Plataforma de Software NVIDIA DOCA

A DOCA permite a criação de infraestrutura de cache e armazenamento de chave-valor (KV) nativa de IA para fábricas de IA modernas. Com o NVIDIA DOCA Memos™, os desenvolvedores podem criar um framework de compartilhamento de cache KV baseado em agentes em todo o pod de IA, estendendo a capacidade efetiva de memória da GPU, reduzindo a recomputação e aumentando os tokens por segundo para inferência baseada em agentes de longo contexto e em vários turnos.

A DOCA também acelera os serviços de armazenamento de última geração, incluindo o Non-Volatile Memory Express over Fabrics (NVMe-oF), a virtualização de armazenamento e os serviços de dados no BlueField. Com a DOCA SNAP, os desenvolvedores podem criar dispositivos de armazenamento definidos por software e soluções NVMe virtualizadas que descarregam o processamento de armazenamento de CPUs host, ao mesmo tempo em que oferecem acesso a dados de alto desempenho à medida que as cargas de trabalho baseadas em agentes escalam.

A DOCA oferece aos desenvolvedores as bases de software para criar serviços de cibersegurança inteligentes e acelerados por hardware para fábricas de IA modernas no BlueField. Com DOCA Argus e DOCA Vault, os desenvolvedores podem detectar comportamentos anômalos de agentes de IA, monitorar a integridade do sistema e proteger credenciais, chaves e ativos confidenciais com proteção isolada apoiada por hardware.

A DOCA também permite segurança de rede de alto desempenho com DOCA Flow para inspeção de tráfego, segmentação, aplicação de políticas, mitigação de ameaças e criptografia acelerada diretamente no caminho dos dados. Ao isolar as funções de segurança das CPUs host, a DOCA ajuda a melhorar a proteção, ao mesmo tempo em que reduz a sobrecarga em escala de Cloud.

O DOCA Platform Framework (DPF) simplifica o provisionamento do BlueField em escala e gerencia o ciclo de vida completo dos serviços de infraestrutura por meio de um modelo operacional nativo do Kubernetes. Desenvolvedores e operadores podem implantar serviços de rede, armazenamento e segurança como aplicações nativas de nuvem, usando APIs padrão do Kubernetes para automatizar atualizações, controle de políticas, escalabilidade e operações pós-implantação.

O DPF também oferece suporte a modelos operacionais de host confiáveis e de zero-trust para fortalecer o isolamento entre locatários, hosts e serviços de infraestrutura. Integrado ao NVIDIA DSX OS e às principais distribuições empresariais do Kubernetes, o DPF permite operações consistentes em nuvens privadas, provedores de serviços e ambientes de fábricas de IA em larga escala.

A DOCA fornece observabilidade em tempo real em redes BlueField e ConnectX, oferecendo aos desenvolvedores e equipes de operações visibilidade profunda sobre a integridade, o desempenho e a utilização da infraestrutura de IA. Métricas de streaming, eventos, contadores e diagnósticos ajudam a monitorar a taxa de processamento da rede, a latência, a atividade de armazenamento, os serviços de segurança e o consumo de recursos do sistema em ambientes de fábrica de IA distribuída.

Com telemetria granular e insights de toda a frota, as equipes podem detectar anomalias precocemente, solucionar gargalos mais rapidamente e responder a incidentes antes que eles impactem as cargas de trabalho ou a utilização da GPU. Ao integrar com plataformas de monitoramento e análise existentes, a DOCA Telemetry ajuda a otimizar a eficiência da infraestrutura, melhorar o tempo de atividade e manter o desempenho previsível em escala.