NVIDIA GH200 Grace Hopper Superchip

Al reunir las arquitecturas de CPU Grace y GPU Hopper basadas en Arm® con NVLink-C2C, los superchips NVIDIA GH200 aceleran la investigación científica y los descubrimientos en superordenadores de todo el mundo. Combinados, los superordenadores que aprovechan los superchips NVIDIA Grace Hopper ofrecen 200 exaflops, o 200 quintillones de cálculos por segundo, de potencia de procesamiento de IA energéticamente eficiente.

Los recientes avances en ancho de banda de almacenamiento y redes, junto con el fin de la ley de Moore, han trasladado los cuellos de botella de los análisis y las consultas a las CPU. Con GH200, la CPU y la GPU comparten una única tabla de páginas por proceso, lo que permite que todos los subprocesos de CPU y GPU accedan a toda la memoria asignada al sistema que puede residir en la memoria física de la CPU o GPU. GH200 elimina la necesidad de copiar memoria entre la CPU y la GPU, acelerando el procesamiento de datos hasta 36 veces.

La generación aumentada por recuperación (RAG) conecta modelos lingüísticos de gran tamaño (LLM) con bases de conocimiento para mejorar la precisión del modelo. RAG requiere que se generen incrustaciones y que se ejecuten búsquedas vectoriales a escala. Los 72 núcleos de CPU Grace basados en Arm de bajo consumo aceleran el preprocesamiento de los datos de la base de conocimiento, y NVLink-C2C acelera la transferencia de los datos preprocesados a la GPU Hopper 7 veces en comparación con PCIe, lo que resulta en una aceleración 30 veces mayor en el proceso de generación de incorporación.

Las redes neuronales de gráficos (GNN) se utilizan en una amplia gama de aplicaciones, como el análisis de redes sociales, el descubrimiento de fármacos, la detección de fraudes y la química molecular. GH200 aprovecha hasta 624 GB de memoria rápida combinada de CPU y GPU, 4 petaFLOPS de GPU H200 y NVLink-C2C de 900 GB/s para acelerar el entrenamiento de GNN hasta en 8 veces en comparación con la GPU H100 PCIe.