Die Komplexität von KI-Modellen steigt schlagartig, da sie auf der nächsten Ebene Herausforderungen wie akkurate Konversations-KI und Deep-Recommender-Systeme übernehmen. Das Training erfordert enorme Rechenleistung und Skalierbarkeit.
A100 – die Tensor Cores der dritten Generation von NVIDIA mit Tensor Float(TF32)-Präzision – bieten bis zu 10-mal mehr Leistung gegenüber der Vorgängergeneration ohne Code-Änderungen und mit weiterem 2-fachen Boost mit automatischer Mixed-Precision. In Kombination mit NVIDIA® NVLink® der dritten Generation, NVIDIA NVSwitch™, PCI Gen4, Mellanox Infiniband und dem NVIDIA Magnum IO™-Software-SDK ist die Skalierung auf Tausende von A100-Grafikprozessoren möglich. Das bedeutet, dass große KI-Modelle wie BERT in nur xx Minuten in einem Cluster von xx A100s trainiert werden und so unübertroffene Leistung und Skalierbarkeit bieten können.
Mit MLPerf 0.6, der ersten branchenweiten Benchmark für KI-Training, verdeutlichte NVIDIA die eigene Führungsposition im Trainingsbereich , the first industry-wide benchmark for AI training.