This site requires Javascript in order to view all its content. Please enable Javascript in order to access all the functionality of this web site. Here are the instructions how to enable JavaScript in your web browser.

MLPerf 벤치마크

NVIDIA AI 플랫폼은 MLPerf 트레이닝 및 추론 모두에서 빛을 발하며 최고의 성능과 다용성으로 대단히 까다로운 실제 AI 워크로드를 처리합니다.

NVIDIA의 결과 보기

MLPerf란?

MLPerf는 학계, 연구 실험실 및 업계의 AI 리더로 구성된 컨소시엄으로, “공정하고 유용한 벤치마크 구축”을 미션으로 하며 하드웨어, 소프트웨어 및 서비스의 훈련과 추론 성능 모두를 규정된 조건에 따라 편견 없이 평가합니다. 최첨단 기술을 지속적으로 유지하기 위해 MLPerf는 발전을 계속하며 정기적으로 새로운 테스트를 시행하고 첨단 AI 기술을 나타내는 새로운 워크로드를 추가합니다.

샬머스 대학은 스웨덴의 선도적 연구 기관 중 하나로, 나노 기술에서 기후 연구에 이르기까지 여러 분야에 특화되어 있습니다. 연구 활동의 진전을 위해 AI를 통합하는 가운데 MLPerf 벤치마크가 여러 AI 플랫폼에서 투명하고 공정한 비교를 제공하여 다양한 사용 사례에서 실질적인 성능을 선보인다는 것을 알게 되었습니다.

- 스웨덴 샬머스 공과대학

TSMC는 공정 기술 시장을 선도하는 최신 5nm 노드 등으로 글로벌 반도체 제조의 최첨단을 주도하고 있습니다. 머신 러닝 기반 리소그래피 및 식각 모델링과 같은 혁신은 광학 근접 보정(OPC) 및 식각 시뮬레이션 정확도를 획기적으로 향상시키고 있습니다. 모델 훈련 및 추론에서 머신 러닝의 잠재력을 완전히 끌어내기 위해 NVIDIA 엔지니어링 팀과 협력하여 Maxwell 시뮬레이션 및 ILT(Inverse Lithography Technology) 엔진을 GPU에 이식하여 속도를 크게 향상시켰습니다. MLPerf 벤치마크는 저희의 의사 결정에 있어 중요한 요소입니다.

- Danping Peng 박사, 미국 캘리포니아 산호세, TSMC OPC 부서 이사

컴퓨터 비전과 이미징은 AI 연구의 핵심이며, 과학적 발견을 주도하고 의료의 핵심 구성 요소를 손쉽게 표현합니다. 저희는 3DUNet과 같은 혁신을 헬스케어 시장에 제공하기 위해 NVIDIA와 긴밀히 협력했습니다. 특정 프로젝트 및 애플리케이션 작업을 가속화하기 위해 업계 표준 MLPerf 벤치마크는 IT 조직 및 개발자에게 관련 성능 데이터를 제공하여 올바른 솔루션을 얻을 수 있습니다.

- Klaus Maier-Hein 교수, DKFZ(독일 암 연구 센터) 의료 이미지 컴퓨팅 책임자

연구 및 제조 분야의 선두 주자인 삼성은 AI를 활용하여 제품 성능과 제조 생산성을 크게 향상하고 있습니다. 이러한 AI를 활용하기 위해 최고의 컴퓨팅 플랫폼을 사용할 수 있어야 합니다. MLPerf 벤치마크는 플랫폼 전반에 걸쳐 균일하게 평가할 수 있도록 개방적이고 직접적인 평가 방법을 제공함으로써 선택 프로세스를 간소화합니다.

— 삼성전자

MLPerf 제출 부문

MLPerf Training v2.0은 트레이닝을 위한 여섯 번째 벤치마크이며 비전, 언어, 추천, 강화 학습을 비롯한 매우 다양한 활용 사례를 포함하는 8가지 워크로드로 구성되어 있습니다.

MLPerf Inference v2.0에서는 7가지 종류의 뉴럴 네트워크에 걸친 7가지 사용 사례를 테스트했습니다. 이러한 사용 사례 중 3가지는 컴퓨터 비전용이고, 1가지는 추천 시스템용, 2가지는 언어 처리용, 1가지는 메디컬 이미징용이었습니다.

이미지 분류

정해진 범주 집합의 레이블을 입력 이미지에 할당합니다. 즉, 컴퓨터 비전 문제에 적용합니다. 상세 정보.

물체 감지(경량)

이미지나 영상에서 얼굴, 자전거, 건물 등 실제 물체의 인스턴스를 찾아 각각의 주위에 경계 상자를 지정합니다. 상세 정보.

물체 감지(중량)

이미지에 나타나는 관심 있는 뚜렷한 물체를 감지하여 각각에 대해 픽셀 마스크를 식별합니다. 상세 정보.

생체 의학 이미지 분할

의료 응용 사례를 위한 고밀도 3D 이미지의 용적 측정 세분화를 수행합니다. 상세 정보.

번역(순환)

순환 신경망(RNN)을 사용하여 한 언어에서 다른 언어로 번역합니다. 상세 정보.

자동 음성 인식(ASR)

오디오를 실시간으로 인식하고 전사합니다. 상세 정보.

자연어 처리(NLP)

텍스트 블록의 다양한 단어 간 관계를 이용하여 텍스트를 이해합니다. 질문 답변, 문장 의역 및 기타 많은 언어 관련 사용 사례가 허용됩니다. 상세 정보.

강화 학습

19x19 그리드에서 플레이되는 전략 게임 Go를 사용하여 보상을 최대화하기 위해 가능한 다양한 액션을 평가합니다. 상세 정보.

NVIDIA의 MLPerf 벤치마크 결과

트레이닝
추론

NVIDIA A100 Tensor 코어 GPU와 NVIDIA DGX SuperPOD^™는 칩별, 규모별 MLPerf 테스트 모두에서 최고의 성능을 보였습니다. 이 획기적인 성능은 하드웨어, 소프트웨어 및 시스템 수준 기술의 긴밀한 통합 덕분이었습니다. 전체 스택에 걸친 NVIDIA의 끊임없는 투자는 각 MLPerf 제출의 성능을 향상시켰습니다. NVIDIA 플랫폼은 전반적인 성능과 다용성에서 타의 추종을 불허하며, 데이터센터에서 엣지와 클라우드에 이르기까지 모든 곳에 사용할 수 있는 트레이닝 및 추론용 단일 플랫폼입니다.

3년 만에 MLPerf 성능 20배 이상 향상

지속적인 개선을 달성하는 NVIDIA의 풀 스택 혁신

최신 MLPerf Training 2.0의 더 높은 정확도 요구 사항에 맞게 정규화된 처리량 결과
MLPerf ID 0.5/0.7/2.0 비교:
BERT: 0.7-56/0.7-38/2.0-2106 | ResNet50v1.5: 0.5-17/0.7-55/0.7-37/2.0-2107 | Mask R-CNN: 0.5-22/0.7-48/0.7-28/2.0-2099
MLPerf 이름과 로고는 상표입니다. 자세한 내용은 www.mlperf.org를 참조하세요.

NVIDIA AI의 우수한 성능과 다용성

상용 솔루션

NVIDIA AI 플랫폼은 MLPerf 테스트 전반에서 우수한 성능을 발휘했으며, 유일하게 모든 벤치마크를 제출한 플랫폼이었습니다. 이는 전체 AI 워크로드에 대한 풀 스택 NVIDIA AI 플랫폼의 성능과 다용성을 보여줍니다.

벤치마크	대규모(분)	가속기당(분)
추천(DLRM)	0.59(DGX SuperPOD)	12.78(A100)
NLP(BERT)	0.21(DGX SuperPOD)	126.95(A100)
음성 인식—순환(RNN-T)	2.15(DGX SuperPOD)	230.07(A100)
물체 감지—중량(Mask R-CNN)	3.09(DGX SuperPOD)	327.34(A100)
물체 감지—경량(RetinaNet)	4.25(DGX SuperPOD)	675.18(A100)
이미지 분류(ResNet-50 v1.5)	0.32(DGX SuperPOD)	217.82(A100)
이미지 분할(3D U-Net)	1.22(DGX SuperPOD)	170.23(A100)
강화 학습(MiniGo)	16.23(DGX SuperPOD)	2045.4(A100)

NVIDIA는 데이터센터 서버 및 오프라인은 물론 엣지 싱글 스트림, 멀티 스트림, 오프라인을 비롯한 모든 시나리오에서 최고의 성능 결과를 달성하였습니다. 또한, 모든 벤치마크 테스트를 거친 모든 제품 중에서 최고의 가속기당 성능을 제공했습니다. 이러한 결과는 NVIDIA의 추론 성능 리더십뿐만 , 아니라 추론 플랫폼의 다용성을 증명해줍니다.

데이터센터 및 엣지에 대한 오프라인 시나리오(단일 GPU)

	NVIDIA A100(x86 CPU) (추론/초)	NVIDIA A100(Arm CPU) (추론/초)	NVIDIA A30 (추론/초)	NVIDIA^® Jetson AGX Orin^™ (최대 추론/쿼리)
DLRM (권장)	312,380	281,283	138,194	해당 없음*
BERT (자연어 처리)	3,490	3,149	1,668	476
ResNet-50 v1.5 (이미지 분류)	39,190	36,487	18,406	6,139
ResNet-34 (대형 SSD(Single-Shot Detector))	990	906	478	208
RNN-T (음성 인식)	13,344	13,188	6,557	1,110
3D U-Net (메디컬 이미징)	3	3	2	0.5

*DLRM은 엣지 범주 제품군에 속하지 않음

1) 2022년 4월 6일에 www.mlperf.org에서 검색한 데이터센터 서버 폼 팩터와 오프라인 시나리오에 대한 MLPerf v2.0 Inference 결과(Inf-2.0-094, Inf-2.0-077, Inf-2.0-090 항목). 프로세서당 성능은 총 성능의 기본 메트릭을 보고된 가속기의 수로 나눠 계산되었습니다.

2) 2022년 4월 6일에 www.mlperf.org에서 검색한 오프라인 시나리오의 엣지 폼 팩터에 대한 MLPerf v2.0 Inference 결과(2.0-140 항목). 프로세서당 성능은 총 성능의 기본 메트릭을 보고된 가속기의 수로 나눠 계산되었습니다.

뛰어난 기술이 뒷받침된 놀라운 결과

AI의 복잡성은 플랫폼의 모든 측면 간에 긴밀한 통합을 요구합니다. MLPerf의 벤치마크에서 입증되었듯이 NVIDIA AI 플랫폼은 세계 최첨단 GPU, 성능과 확장성이 뛰어난 상호 연결 기술 및 첨단 소프트웨어를 통해 선도적인 성능을 제공합니다. 이러한 종합적인 솔루션을 데이터센터, 클라우드 또는 엣지에 배포하여 놀라운 결과를 얻을 수 있습니다.

AI 워크플로우를 가속화하는 최적화된 소프트웨어

NVIDIA의 플랫폼과 MLPerf 트레이닝 및 추론 결과의 필수적인 구성 요소인 NGC^™ 카탈로그는 GPU 최적화 AI, 고성능 컴퓨팅(HPC), 그리고 전체 워크플로우를 간소화하고 가속화하는 데이터 분석 소프트웨어를 위한 허브입니다. 대화형 AI와 추천 시스템에 대한 워크로드를 포함한 150개가 넘는 엔터프라이즈급 컨테이너, 100개가 넘는 AI 모델, 그리고 온프레미스, 클라우드 또는 엣지에 배포할 수 있는 산업별 SDK를 갖춘 NGC를 통해 데이터 사이언티스트, 연구원 및 개발자는 그 어느 때보다도 빠르게 동급 최고의 솔루션을 구축하고, 인사이트를 모으고, 비즈니스 가치를 제공할 수 있습니다.

NGC 카탈로그 방문

최고의 AI 인프라

트레이닝 및 추론 부문에서 최고의 결과를 얻으려면 세계에서 가장 복잡한 AI 과제에 맞게 구축된 인프라가 필요합니다. NVIDIA AI 플랫폼은 NVIDIA A100 Tensor 코어 GPU, NVIDIA A30 Tensor 코어 GPU, NVIDIA A2 Tensor 코어 GPU, Jetson AGX Orin 모듈의 성능 및 NVIDIA 인터커넥트 기술(NVIDIA NVLink^®, NVIDIA NVSwitch^™, NVIDIA ConnectX^®-6 VPI)의 확장성과 유연성을 통해 제공됩니다. 이러한 요소는 모두 NVIDIA 벤치마크 성능을 뒷받침하는 엔진인 NVIDIA DGX™ A100의 핵심을 이룹니다.

NVIDIA DGX^™ 시스템은 확장성, 신속한 배포, 놀라운 컴퓨팅 성능을 제공해 모든 기업에서 최고의 AI 인프라를 구축할 수 있도록 합니다.

자세히 알아보기

NVIDIA의 데이터센터 트레이닝 및 추론 제품 성능에 대해 자세히 알아보세요.

성능 보기

MLPerf 벤치마크

MLPerf란?