NVIDIA A100 Tensor 코어 GPU

AI 모델은 대화형 AI와 같은 차세대 도전 과제를 풀어나가면서 그 복잡성 역시 폭발적으로 커지고 있습니다. 이러한 모델을 훈련시키려면 엄청난 컴퓨팅 성능과 확장성이 필요합니다.

Tensor Float(TF32)를 갖춘 NVIDIA A100의 Tensor 코어는 코드를 변경할 필요 없이 이전 세대 NVIDIA Volta보다 최대 20배 높은 성능과 더불어 자동 혼합 정밀도 및 FP16으로 성능이 추가로 2배나 향상됩니다. NVIDIA^® NVLink^®, NVIDIA NVSwitch^™, PCI Gen4, NVIDIA^® InfiniBand^®, NVIDIA Magnum IO^™ SDK와 함께 사용하면 수천 개의 A100 GPU로 확장할 수 있습니다.

2,048개의 A100 GPU를 통해 BERT와 같은 다양한 규모의 훈련 워크로드를 1분 안에 해결할 수 있으며, 해결까지 걸리는 시간은 세계 신기록을 자랑합니다.

딥러닝 추천 모델(DLRM)과 같은 방대한 데이터 테이블이 있는 최대형 모델의 경우, A100 80GB는 노드당 1.3TB의 통합 메모리를 달성하며 처리량이 A100 40GB보다 3배 더 많습니다.

MLPerf에서 보여준 NVIDIA의 리더십은 업계 전반의 AI 훈련 벤치마크에서 여러 가지 성능 기록을 세웠습니다.

Quantum Espresso​

데이터 사이언티스트는 대규모 데이터세트를 분석, 시각화하고 인사이트로 전환할 수 있어야 합니다. 하지만 스케일아웃 솔루션은 여러 서버에 흩어진 데이터세트 때문에 교착 상태에 빠지는 경우가 많습니다.

A100을 사용하는 가속화 서버는 방대한 메모리, 2TB/s를 넘는 메모리 대역폭, NVIDIA^® NVLink^®, NVSwitch^™를 통한 확장성과 함께 필요한 컴퓨팅 성능을 제공하여 이러한 워크로드를 처리합니다. InfiniBand와 NVIDIA Magnum IO^™ 그리고 GPU 가속 데이터 분석을 위한 Apache Spark용 RAPIDS Accelerator 등 오픈 소스 라이브러리의 RAPIDS^™ 제품군과 함께 NVIDIA 데이터센터 플랫폼은 이러한 대규모 워크로드를 전례 없는 수준의 성능과 효율성으로 가속화합니다.

A100 80GB는 빅데이터 분석 벤치마크에서 A100 40GB보다 2배 더 많은 인사이트를 기록했으므로, 데이터세트 크기가 엄청 거대해진 요즘 워크로드에 적합합니다.

MIG를 사용하는 A100은 GPU 가속화 인프라의 활용률을 극대화합니다. A100 GPU는 MIG를 통해 7개나 되는 별개의 인스턴스로 안전하게 분할될 수 있어 여러 사용자가 GPU 가속화에 액세스할 수 있습니다. A100 40GB의 경우 각 MIG 인스턴스에 최대 5GB가 할당할 수 있으며, A100 80GB로 메모리 용량이 증가하면 그 크기가 10GB로 2배가 됩니다.

MIG는 Kubernetes, 컨테이너, 하이퍼바이저 기반 서버 가상화와 연동됩니다. MIG는 인프라 관리자가 모든 작업에 보장된 서비스 품질(QoS)로 알맞은 크기의 GPU를 제공하도록 지원하여 모든 사용자가 가속 컴퓨팅 리소스를 사용할 수 있게 합니다.