데이터 센터를 위한 AI 스토리지 생태계

NVIDIA CMX 컨텍스트 메모리 스토리지 플랫폼

차세대 AI를 위해 추론 스토리지를 재설계하다.

개요
제품군
이점
생태계
리소스
시작하기

개요
제품군
이점
생태계
리소스
시작하기

AI 네이티브 스토리지, 대규모 롱 컨텍스트 추론 가속화

NVIDIA® CMX™ 컨텍스트 메모리 스토리지는 롱 컨텍스트, 멀티턴 및 에이전트 AI 추론을 위한 AI 네이티브 컨텍스트 계층입니다. NVIDIA BlueField®‑4 스토리지 프로세서를 기반으로 하는 이 제품은 임시 키-값(KV) 캐시에 최적화된 공유 포드 레벨의 컨텍스트 계층을 통해 GPU 메모리를 확장합니다. 이 플랫폼은 대규모 추론 워크로드의 지연 시간, 비용 및 전력 오버헤드를 줄이는 고대역폭 경로를 제공하여 NVIDIA Rubin 플랫폼에서 더 높은 처리량과 뛰어난 전력 효율성을 구현할 수 있습니다.

NVIDIA BlueField-4, 차세대 AI를 위한 새로운 AI‑네이티브 스토리지 시대를 열다

NVIDIA CMX는 GPU 용량을 확장하고, 랙 스케일 AI 시스템 전반에서 고대역폭 KV 캐시 공유를 가능하게 합니다. 이는 기존 스토리지보다 롱 컨텍스트 및 멀티턴 추론에서 더 높은 처리량과 더 우수한 전력 효율성을 제공합니다.

블로 읽기

AI의 차세대 최첨단 기술을 선도할 NVIDIA BlueField-4 기반 컨텍스트 메모리 스토리지 플랫폼 소개

NVIDIA CMX는 NVIDIA BlueField‑4, DOCA™ 및 Spectrum‑X™ 이더넷을 사용하여 롱 컨텍스트 및 에이전틱 AI 추론에 더 높은 처리량과 전력 효율성을 제공하는 포드 레벨 컨텍스트 메모리 계층을 추가합니다.

블로그 읽기

제품

엔드 투 엔드로 통합된 AI 네이티브 스토리지 인프라

가속화된 컨텍스트 메모리와 안전한 데이터 이동부터 이더넷 패브릭 및 추론 프레임워크에 이르기까지, NVIDIA CMX는 컴퓨팅, 네트워킹, 스토리지 및 소프트웨어 전반에 걸친 극한의 공동 설계가 만들어낸 결실입니다.

NVIDIA BlueField-4

NVIDIA BlueField 플랫폼은 획기적인 성능, 효율성 및 혁신을 제공하여 NVIDIA CMX를 가속화합니다. BlueField-4는 NVMe(Non-Volatile Memory Express) 솔리드 스테이트 드라이브(SSD)를 관리하고 스토리지 서비스를 실행하며, 높은 전력 효율로 KV 캐시의 데이터 무결성 및 암호화 작업을 오프로드합니다. 고급 컴퓨팅 기능과 네트워킹, 스토리지 및 보안을 위한 소프트웨어 정의 하드웨어 가속기는 모든 워크로드를 위해 안전하고 에너지 효율적인 인프라를 구축합니다.

NVIDIA BlueField를 통한 데이터센터 혁신

NVIDIA DOCA Memos

NVIDIA DOCA Memos는 AI 컴퓨팅과 CMX 데이터 노드 전반에서 KV 캐시를 관리 및 공유하는 BlueField-4 및 CMX에 최적화된 SDK로, 간결한 키-값 API를 노출하여 이더넷 연결 플래시를 포드 레벨 캐시 계층으로 전환합니다. 하드웨어 가속 무결성 및 암호화를 통해 안전힌 저지연 액세스를 제공하며, CMX가 대규모 환경에서 KV 캐시 라우팅과 재사용을 전담하는 동안 애플리케이션은 스테이트리스 상태를 유지합니다.

DOCA Memos를 활용한 AI 추론 가속화

NVIDIA Spectrum-X 이더넷 네트워킹

NVIDIA Spectrum-X 이더넷은 포드 전반의 AI 네이티브 KV 캐시에 대한 저지연 및 고대역폭 액세스를 위해 고성능 원격 직접 메모리 액세스(RDMA) 패브릭을 제공합니다. AI를 위해 특별히 설계된 Spectrum-X 이더넷은 고급 혼잡 제어, 적응형 라우팅 및 무손실 RoCE(RDMA Over Converged Ethernet)를 사용하여 지터와 테일 지연 시간을 최소화하며, 대규모 멀티테넌트 환경에서 일관되고 재현 가능한 성능을 제공합니다. 이를 통해 CMX는 예측 가능한 고성능으로 확장할 수 있으며, 멀티턴 및 에이전틱 추론 워크로드의 처리량과 응답성을 극대화합니다.

Spectrum-X 이더넷을 활용한 AI 네트워킹 확장

NVIDIA Dynamo

NVIDIA Dynamo는 CMX와 하부 컨텍스트 스토리지 계층을 포드 전반에서 원활하게 통합하여, 요청을 KV 캐시가 이미 상주하는 곳으로 라우팅하는 분산 추론 서빙 프레임워크입니다. 서빙 레이어에서 KV 인식 배치 및 재사용을 처리함으로써, Dynamo는 초당 토큰을 늘리고 첫 번째 토큰 생성 시간을 단축하며, 멀티턴 및 멀티 에이전트 워크로드를 포드 전반의 컨텍스트 재사용을 지원합니다.

NVIDIA Dynamo를 통해 AI 추론 가속화

제품 이점

롱 컨텍스트 AI를 위한 가속 컨텍스트 메모리

NVIDIA CMX는 기존 스토리지 접근 방식 대비 KV 캐시 집약적인 긴 컨텍스트 워크로드의 지속적인 처리량과 전력 효율성을 향상시키는 전용 컨텍스트 계층을 도입합니다.

기가스케일 AI를 위한 전력 재확보

필수 전력을 회수하는 고효율 KV 캐시 최적화 스토리지 계층을 통해 AI 서비스를 확장하고, 기존 스토리지 대신 GPU에 데이터 센터 전력 예산을 더 많이 할당할 수 있도록 하세요.

GPU 활용도, 처리량, 응답성 극대화

데이터 경로를 최적화하고 CMX 계층의 사전 계산된 KV 캐시를 재계산하지 않고 재사용하여 지연을 줄입니다. 이는 멀티턴 에이전트 추론에서 초당 토큰 처리량과 전체 처리량을 향상시킵니다. CMX는 첫 토큰 생성 시간과 마지막 토큰 생성 시간을 줄여, 모델, 컨텍스트 윈도우, 동시성이 증가하더라도 응답이 더 빨리 스트리밍되고 더 빠르게 완료되도록 합니다.

AI 포드 전반에서 스마트하고 효율적인 KV-캐시 공유 활성화

AI 네이티브 컨텍스트에 대한 포드 전반의 고속 접근을 제공하여 멀티턴 에이전트가 조정하고 상태를 공유하며 워크로드 증가에 따라 원활하게 확장할 수 있도록 지원하는 동시에, KV 캐시 중복과 노드 전반의 유휴 용량을 줄입니다.

긴 컨텍스트 추론을 위한 GPU 용량 확장

대규모 KV 캐시 용량을 제공하여 긴 컨텍스트 추론, 멀티 에이전트 워크플로, 조 단위 파라미터 모델, 그리고 많은 동시 사용자를 위한 더 긴 컨텍스트 윈도우를 지원합니다.

NVIDIA STX

NVIDIA STX는 AI 스토리지용 모듈형 참조 아키텍처로, 선도적인 스토리지 파트너와 공동 설계되었으며 NVIDIA 가속 컴퓨팅, 네트워킹 및 AI 소프트웨어를 기반으로 구축되었습니다. NVIDIA STX는 학습 및 분석부터 실시간 에이전틱 추론에 이르기까지 전체 AI 라이프사이클을 가속하는 범용 데이터 엔진 구축을 위한 기반을 제공합니다.

NVIDIA STX에 대해 알아보기

생태계

NVIDIA CMX 컨텍스트 메모리 스토리지 파트너

리소스

컨텍스트 시대를 위한 구성 요소

업계 전반의 광범위한 채택을 바탕으로 NVIDIA BlueField-4 STX 스토리지 플랫폼 출시

NVIDIA STX는 선도적인 공급업체와 공동 설계하고, NVIDIA 가속 컴퓨팅, 네트워킹 및 AI 소프트웨어를 기반으로 구축된 모듈형 AI 스토리지 레퍼런스 디자인입니다. 이것이 에이전틱 AI와 AI 데이터 인프라를 대폭 가속하는 NVIDIA BlueField‑4 STX 스토리지 플랫폼을 어떻게 구동하는지 알아보세요.

블로그 읽기