NVIDIA Grace CPU

세계 최대 모델을 트레이닝하도록 제작

최대 규모의 AI 및 HPC 워크로드를 위한 혁신적인 CPU

AI 모델은 수백억 개의 매개변수로 대화형 AI를 개선하고 수십 테라바이트의 데이터 테이블을 임베드하여 심층 추천 시스템을 향상하고 새로운 과학적 발견을 지원하면서 그 복잡성과 규모가 폭발적으로 증가하고 있습니다. 이러한 대규모 모델은 현재 시스템의 한계를 넓히고 있습니다. 정확성 및 일반화를 위해 계속하여 확장하려면 메모리의 큰 풀에 대한 빠른 액세스와 CPU 및 GPU의 밀접한 결합이 필요합니다.

NVIDIA 젠슨 황 CEO의 키노트를 감상하고, NVIDIA Grace CPU 발표 내용을 자세히 확인해보세요.

 

복잡한 문제를 해결하도록 설계

NVIDIA Grace CPU는 Arm 아키텍처의 유연성을 활용하여 가속 컴퓨팅을 위해 설계된 CPU 및 서버 아키텍처를 처음부터 만들어 냅니다. 이 혁신적인 디자인은 오늘날 가장 빠른 서버와 비교하여 30배 더 높은 집계 대역폭, 그리고 테라바이트 단위의 데이터를 실행하는 애플리케이션에는 최대 10배 더 높은 성능을 제공합니다. NVIDIA Grace는 전 세계의 가장 복잡한 문제를 해결하기 위해 과학자와 연구원이 큰 모델을 트레이닝할 수 있도록 설계되었습니다.

최신 기술 혁신

4세대 NVIDIA NVLink

AI 및 HPC의 가장 큰 문제를 해결하려면 고용량 메모리와 고대역폭 메모리(HBM)가 모두 필요합니다. 4세대 NVIDIA® NVLink®는 NVIDIA Grace CPU와 NVIDIA GPU 사이에 초당 900기가바이트(GB/s)의 양방향 대역폭을 제공합니다. 이 연결은 단순화된 프로그래밍을 위해 시스템 및 HBM GPU 메모리를 결합하면서 캐시가 일관적인 통합 메모리 주소 공간을 제공합니다. 이러한 CPU와 GPU 간의 일관적인 고대역폭 연결은 향후 가장 복잡한 AI 및 HPC 문제를 빠르게 처리하는 데 있어 핵심 역할을 할 것입니다.

LPDDR5x와 ECC를 사용한 새로운 고대역폭 메모리 하위 시스템

메모리 대역폭은 서버 성능에 매우 중요한 요소이며, 표준 DDR(Double Data Rate) 메모리는 전체 소켓 전력의 상당량을 소비합니다. NVIDIA Grace CPU는 ECC(Error-correcting Code) 등의 메커니즘으로 서버급 신뢰성과 함께 LPDDR5x 메모리를 활용하여 데이터센터의 요구 사항을 충족하는 최초의 서버 CPU로, 오늘날의 서버 메모리와 비교하여 2배의 메모리 대역폭과 10배 더 향상된 에너지 효율성을 제공합니다. 대규모 고성능 마지막 레벨 캐시(LLC)와 연결된 NVIDIA Grace LPDDR5x 솔루션은 차세대 워크로드의 성능을 최대화하기 위해 시스템 전력을 낮추는 동시에 대규모 모델에 필요한 대역폭을 제공합니다.

차세대 Arm Neoverse 코어

GPU의 병렬 컴퓨팅 기능이 계속하여 발전되는 와중에, CPU에서 실행되는 직렬 작업은 계속해서 워크로드를 게이팅할 수 있습니다. 효율적인 고속 CPU는 최대한의 워크로드 가속을 지원하기 위한 시스템 디자인의 필수 구성 요소입니다. NVIDIA Grace CPU는 차세대 Arm Neoverse 코어를 통합하여 전력 효율적인 디자인에 고성능을 제공함으로써 과학자와 연구원들이 프로젝트를 수행하기 더 쉽게 만들어줍니다.

NVIDIA 창립자 겸 CEO인 젠슨 황이 전하는 놓치지 말아야 할 GTC 키노트를 들어보세요. 여기서 그가 NVIDIA Grace CPU에 대한 상세 내용을 처음으로 밝힙니다. 자세한 정보는 언론 보도를 읽어보세요.