MLPerf란 무엇인가요?
MLPerf™ 벤치마크는 학계, 연구소, 산업계의 AI 리더들이 참여하는 MLCommons 컨소시엄이 개발한 것으로, 하드웨어, 소프트웨어, 서비스 전반에 걸쳐 트레이닝 및 인퍼런스 성능을 공정하게 평가하도록 설계되었습니다. 이 모든 과정은 규정된 조건에 따라 수행됩니다. MLPerf는 업계 트렌드의 최첨단을 유지하기 위해 정기적으로 새로운 테스트를 진행하고 AI 최첨단 워크로드를 추가하면서 지속적으로 발전하고 있습니다.
MLPerf 벤치마크 내부
MLPerf Inference v6.1 은 밀집형 및 전문가 혼합(MoE) 거대 언어 모델(LLM), 비전 언어 모델, 텍스트 영상 변환 모델, 생성형 추천 모델 등 다양한 모델 아키텍처 전반에서 추론 성능을 측정합니다.
MLPerf Training v6.0 은 LLM, 텍스트 이미지 변환, 추천 모델, 그래프 신경망, 객체 감지 등 다양한 모델 전반에서 지정된 품질 수준에 도달할 때까지의 학습 시간을 측정합니다.
NVIDIA MLPerf 벤치마크 결과
-
학습
-
추론
NVIDIA 플랫폼은 7개의 MLPerf Training v5.1 벤치마크 모두에서 가장 빠른 속도로 학습을 수행했습니다. Blackwell Ultra가 처음 공개되었으며, 아키텍처 개선과 혁신적인 NVFP4 트레이닝 기법을 기반으로 LLM 프리트레이닝과 파인튜닝 성능을 크게 끌어올렸습니다. 이를 통해 성능을 대폭 향상시키는 동시에 MLPerf가 요구하는 엄격한 정확도 기준도 충족합니다. 또한 NVIDIA는 NVFP4를 통해 확장성을 2배로 늘리고 GPU당 성능을 대폭 향상시켜 Blackwell Llama 3.1 405B 사전 학습 성능을 2.7배 향상시켰습니다. 또한 NVIDIA는 새롭게 추가된 벤치마크(Llama 3.1 8B와 FLUX.1)에서 성능 기록을 설정한 동시에 기존 추천 시스템, 물체 감지, 그래프 신경망 벤치마크에서 성능 기록을 유지하고 있습니다.
NVIDIA Blackwell Ultra는 MLPerf 훈련 데뷔에서 큰 도약을 제공합니다.
MLPerfTraining v5.0, v5.1 및 v6.0 결과는 2026년 6월 16일 www.mlcommons.org에서 검색되었습니다. MLPerf GPU 확장은 5.0-0004, 5.1-004, 6.0-0001, 6.0-0005 및 6.0-0014 항목을 기반으로 합니다. 6.0-0006, 6.0-0013, 6.0-0017, 6.0-0018, 6.0-0078 및 5.1-0072 항목의 MLPerf Blackwell 학습 비교. MLPerf 이름과 로고는 미국 및 기타 국가에서 MLCommons Association의 등록 상표 및 미등록 상표입니다. 모든 권리를 보유합니다. 무단 사용은 엄격히 금지됩니다. 자세한 내용은 www.mlcommons.org를 참조하세요.
연간 출시 주기와 긴밀한 공동 설계로 AI 학습 분야의 리더십 유지
NVIDIA 플랫폼은 MLPerf Training v6의 모든 벤치마크에서 가장 빠른 학습 시간을 기록했습니다. 칩, 시스템, 소프트웨어 전반의 혁신이 지속적인 트레이닝 성능 리더십을 가능하게 했으며, 이는 업계 표준의 동료 검증 성능 데이터로 입증되었습니다.
최대 규모 성능
| Benchmark | Time to Train |
|---|---|
| LLM Pretraining (Llama 3.1 405B) | 10 minutes |
| LLM Pretraining (Llama 3.1 8B) | 5.2 minutes |
| LLM Fine-Tuning (Llama 2 70B LoRA) | 0.40 minutes |
| Image Generation (FLUX.1) | 12.5 minutes |
| Recommender (DLRM-DCNv2) | 0.71 minutes |
| Graph Neural Network (R-GAT) | 0.84 minutes |
| Object Detection (RetinaNet) | 1.4 minutes |
2026년 6월 16일 www.mlcommons.org에서 검색된 MLPerf™ Training v6.0, 다음 항목에서 가져옴: 6.0-0005, 6.0-0102, 6.0-0001, 6.0-0102, 6.0-0015, 6.0-0101, 6.0-0062. MLPerf 이름과 로고는 미국 및 기타 국가에서 MLCommons Association의 상표입니다. 모든 권리를 보유합니다. 무단 사용은 엄격히 금지됩니다. 자세한 내용은 www.mlcommons.org를 참조하세요.
NVIDIA Vera Rubin NVL72, MLPerf Inference v6.1 데뷔에서 선도적인 성능 제공
시스템 성능, 인프라 확장 효율성, 지속적인 소프트웨어 최적화의 세 가지 요소가 AI 추론 경제성의 핵심입니다. 성능이 높으면 더 많은 토큰이 생성되어 더 높은 수익을 창출한다는 것을 의미합니다. 효율적인 확장은 하드웨어가 추가됨에 따라 처리량이 비례적으로 증가함을 의미하며, 사용자에게 서비스를 제공하는 데 필요한 리소스 수가 줄어듭니다. 지속적인 최적화는 이미 배포된 인프라에서 더 많은 가치를 얻을 수 있음을 의미합니다.
NVIDIA 플랫폼은 이 세 가지 모두를 발전시키기 위해 특별히 설계되었으며, MLPerf Inference v6.1 결과는 그 방법을 보여줍니다.
- Vera Rubin NVL72, 선도적인 성능으로 데뷔: 첫 MLPerf Inference 제출에서 Vera Rubin NVL72는 GB300 NVL72보다 최대 3.7배 더 높은 처리량을 제공합니다.
- GB300 NVL72는 선도적인 효율성으로 확장: 4개의 GB300 NVL72 랙 전반에 걸쳐 288-GPU 제출은 99%의 확장 효율성을 달성했으며, 처리량은 단일 랙 기준 대비 거의 선형적으로 증가합니다.
- 소프트웨어 최적화는 지속적인 성장을 주도합니다. v6.1 소프트웨어 발전은 v6.0 대비 최대 1.6배 더 높은 성능을 제공하며, 제출 후 최적화를 통해 추가적인 성능 향상을 얻습니다.
성능, 확장 효율성, 소프트웨어 속도는 함께 장기적인 AI 인프라 경제성을 결정합니다.
MLPerf Inference v6.1, Closed Division. 2026년 9월 16일 www.mlcommons.org에서 검색된 결과. NVIDIA 플랫폼 결과는 6.1-0106, 6.1-0073, 6.1-0074 등의 항목입니다. MLPerf 이름과 로고는 미국 및 기타 국가에서 MLCommons Association의 등록 상표 및 미등록 상표입니다. 모든 권리를 보유합니다. 무단 사용은 엄격히 금지됩니다. 자세한 내용은 www.mlcommons.org를 참조하세요.
뛰어난 기술이 뒷받침된 놀라운 결과
AI의 복잡성은 플랫폼의 모든 측면을 긴밀하게 통합해야 합니다. MLPerf의 벤치마크에서 입증되었듯이 NVIDIA AI 플랫폼은 세계 최첨단 GPU, 성능과 확장성이 뛰어난 상호 연결 기술 및 첨단 소프트웨어를 통해 선도적인 성능을 제공합니다. 이러한 종합적인 솔루션을 데이터센터, 클라우드 또는 엣지에 배포하여 놀라운 결과를 얻을 수 있습니다.
AI 워크플로우를 가속화하는 최적화된 소프트웨어
NVIDIA Dynamo는 AI 팩토리 규모로 멀티 노드 환경에서 모델을 배포하는 오픈 소스 분산 추론 서비스 프레임워크입니다. 추론을 분리하고, 라우팅을 최적화하며, 데이터 캐싱을 통해 비용 효율적인 스토리지 계층으로 메모리를 확장함으로써 분산 서비스를 간소화합니다.
Dynamo는 LLM 추론의 프리필 및 디코딩 단계를 서로 다른 GPU에 분리하여 각 단계를 독립적으로 최적화와 더 높은 처리량을 달성합니다. MLPerf Inference v5.1 벤치마크에서 두드러지게 소개되었으며, Llama 3.1 405B Interactive 및 DeepSeek-R1 추론 테스트에서 우수한 성능을 입증했습니다.
최고의 AI 인프라
훈련과 추론에서 세계 최고 성과를 내려면, 가장 복잡한 AI 과제를 처리할 수 있도록 설계된 인프라가 필요합니다. NVIDIA AI 플랫폼은 NVIDIA GB300 NVL72 및 GB200 NVL72 시스템, NVLink 및 NVLink Switch, Quantum InfiniBand를 포함한 NVIDIA Blackwell 및 Blackwell Ultra 플랫폼을 기반으로 한 최고의 성능을 제공합니다. 이는 NVIDIA 벤치마크 성능을 뒷받침하는 엔진인 NVIDIA 데이터센터 플랫폼으로 구동되는 AI 팩토리의 핵심입니다.
또한 NVIDIA DGX™ 시스템은 확장성, 신속한 배포 기능 및 놀라운 컴퓨팅 성능을 제공해 모든 엔터프라이즈에서 선도적인 AI 인프라를 구축할 수 있도록 합니다.
데이터센터 학습 및 추론 성능에 대해 자세히 알아보세요.
Reasoning LLM
MLPerf Inference는 다음을 사용합니다.
DeepSeek-R1에는 AIME, MATH500, GPQA Diamond, MMLU-Pro 및 LiveCodeBench 데이터셋에서 가져온 샘플이 포함되어 있습니다.
GPT-OSS-120B에는 AIME 2024, LivecodeBench v6 및 GPQA Diamond 데이터셋의 샘플이 포함되어 있습니다.
비전 언어 모델
MLPerf Inference는 Shopify 제품 카탈로그 데이터셋을 사용하여 Qwen3-VL-235B-A22B-Instruct 모델을 사용합니다.
LLM
MLPerf Inference는 다음을 사용합니다.
Llama 3.1 405B에는 LongBench, LongDataCollection, RULER 및 GovReport 요약에서 가져온 샘플이 포함되어 있습니다. Llama 2 70B는 OpenOrca를 사용합니다. Llama 3.1 8B는 CNN/DailyMail을 사용합니다. Mixtral 8x7B에는 OpenOrca, GSM8K 및 MBXP 데이터셋에서 가져온 샘플이 포함되어 있습니다.
MLPerf Training은 4050억 개의 매개변수와 8,192의 시퀀스 길이를 갖춘 Llama 3.1 생성형 언어 모델을 c4(v3.0.1) 데이터세트를 사용해 LLM 사전 학습 워크로드를 수행합니다. LLM 미세 조정 테스트를 위해 Llama 2 70B 모델과 GovReport 데이터세트를 사용하며, 시퀀스 길이는 8,192입니다. Llama 3.1 8B는 또한 8,192의 시퀀스 길이를 갖춘 C4 데이터세트를 사용합니다.
텍스트 영상 변환
MLPerf Inference는 VBench 데이터셋과 함께 Wan-2.2-T2V-A14B를 사용합니다.
텍스트-이미지
MLPerf Training은 COCO 2014 데이터셋으로 학습되고 CC12M 데이터셋으로 평가되는 FLUX.1 텍스트 이미지 변환 모델을 사용합니다.
추천
MLPerf Inference는 Synthetic Streaming 100B 데이터셋과 함께 DLRMv3를 사용합니다.
MLPerf Training과 Inference는 DCNv2 크로스 레이어를 사용하고, Criteo 데이터셋을 기반으로 합성된 멀티핫 데이터셋을 활용하는 Deep Learning Recommendation Model v2(DLRMv2)를 사용합니다.
그래프 뉴럴 네트워크
MLPerf Inference는 Illinois Graph Benchmark(IGB) 이종 데이터셋을 사용합니다.
MLPerf Training는 IGB(Illinois Graph Benchmark) 이종 데이터셋과 함께 R-GAT를 사용합니다.
음성-텍스트 변환
MLPerf 추론은 Whisper-Large-V3를 LibriSpeech 데이터세트와 함께 사용합니다.
