NVIDIA DOCA 소프트웨어 플랫폼

DOCA는 현대 AI 팩토리를 위한 AI 네이티브 키-값(KV) 캐시와 스토리지 인프라를 구축할 수 있도록 지원합니다. NVIDIA DOCA Memos를 통해 개발자는 AI 포드 전반에 걸쳐 에이전트 KV 캐시 공유 프레임워크를 구축하여 효과적인 GPU 메모리 용량을 확장하고, 재계산을 줄이며, 장기 컨텍스트 멀티턴 에이전트 추론을 위한 초당 토큰을 향상시킬 수 있습니다.

DOCA 또한 BlueField의 NVMe-oF(Non-Volatile Memory Express over Fabrics), 스토리지 가상화 및 데이터 서비스를 포함한 차세대 스토리지 서비스를 가속화합니다. 개발자는 DOCA SNAP를 통해 호스트 CPU의 스토리지 처리를 오프로드하는 소프트웨어 정의 스토리지 어플라이언스와 가상화된 NVMe 솔루션을 구축할 수 있으며, 에이전트 워크로드 확장에 따라 고성능 데이터 액세스를 제공합니다.

DOCA는 개발자에게 BlueField의 현대적인 AI 팩토리를 위한 지능형 하드웨어 가속 사이버 보안 서비스를 구축할 수 있는 소프트웨어 구성 요소를 제공합니다. DOCA Argus 및 DOCA Vault를 통해 개발자는 이상 AI 에이전트 동작을 감지하고, 시스템 무결성을 모니터링하며, 격리된 하드웨어 기반 보호를 통해 자격 증명, 키 및 민감한 자산을 보호할 수 있습니다.

DOCA는 또한 DOCA Flow를 통해 데이터 경로에서 직접 트래픽 검사, 세그먼트화, 정책 시행, 위협 완화 및 가속화된 암호화를 위한 고성능 네트워크 보안을 지원합니다. DOCA는 호스트 CPU에서 보안 기능을 격리함으로써 클라우드 규모의 오버헤드를 줄이는 동시에 보호 기능을 향상시키는 데 도움이 됩니다.

DOCA 플랫폼 프레임워크(DPF)는 대규모 BlueField의 프로비저닝을 간소화하고 쿠버네티스 네이티브 운영 모델을 통해 인프라 서비스의 전체 라이프사이클을 관리합니다. 개발자와 운영자는 표준 쿠버네티스 API를 사용하여 네트워킹, 스토리지 및 보안 서비스를 클라우드 네이티브 애플리케이션으로 배포하여 업그레이드, 정책 제어, 확장 및 데이 투 운영을 자동화할 수 있습니다.

DPF는 또한 신뢰할 수 있는 호스트 및 제로 트러스트 운영 모델을 지원하여 테넌트, 호스트 및 인프라 서비스 간의 격리를 강화합니다. NVIDIA DSX OS 및 선도적인 엔터프라이즈 쿠버네티스 배포와 통합된 DPF는 프라이빗 클라우드, 서비스 공급업체 및 대규모 AI 팩토리 환경 전반에 걸쳐 일관된 운영을 지원합니다.

DOCA는 BlueField 및 ConnectX 네트워킹 전반에 걸쳐 실시간 관찰성을 제공하여 개발자와 운영 팀에 AI 인프라의 상태, 성능 및 활용도에 대한 심층적인 가시성을 제공합니다. 스트리밍 지표, 이벤트, 카운터 및 진단은 분산된 AI 팩토리 환경 전반에 걸쳐 네트워킹 처리량, 지연 시간, 스토리지 활동, 보안 서비스 및 시스템 리소스 소비량을 모니터링하는 데 도움이 됩니다.

세분화된 원격 분석과 플릿 전반의 인사이트를 통해 팀은 이상 상태를 조기에 감지하고, 병목 현상을 더 빠르게 해결하며, 인시던트가 워크로드나 GPU 활용도에 영향을 미치기 전에 대응할 수 있습니다. 기존 모니터링 및 분석 플랫폼과 통합함으로써 DOCA 텔레메트리는 인프라 효율성을 최적화하고, 가동 시간을 개선하며, 대규모 환경에서 예측 가능한 성능을 유지하는 데 도움이 됩니다.