This site requires Javascript in order to view all its content. Please enable Javascript in order to access all the functionality of this web site. Here are the instructions how to enable JavaScript in your web browser.

Acelerador convergente NVIDIA H100 CNX

Rendimiento sin precedentes para las cargas de trabajo intensivas de IO con tecnología de GPU.

Más información

Red unificada y aceleración de computación

Experimenta el rendimiento sin precedentes de la aceleración convergente. NVIDIA H100 CNX combina la potencia de la GPU NVIDIA H100 Tensor Core con las capacidades de red avanzadas de la tarjeta de interfaz de red inteligente (SmartNIC) NVIDIA^® ConnectX^®-7 para acelerar las cargas de trabajo intensivas en IA y basadas en la GPU, como la formación de IA distribuida en el centro de datos empresarial y el procesamiento 5G en el perímetro.

LEER Hoja de datos NVIDIA H100 CNX (PDF 63 KB)

Mejor rendimiento de E/S

NVIDIA H100 y ConnectX-7 se conectan a través de un conmutador integrado PCIe Gen5, que ofrece una ruta de alta velocidad específica para la transferencia de datos entre la GPU y la red. De esta forma se eliminan los atascos en el host y se ofrece una latencia baja y previsible, algo importante para aquellos usos sensibles al tiempo, como en el caso del procesamiento de la señal 5G.

Diseño equilibrado y optimizado

La integración de una GPU y una SmartNIC en un único dispositivo da como resultado una arquitectura equilibrada por el diseño. En aquellos sistemas en los que se necesitan varias GPU, una tarjeta aceleradora convergente ejecuta la relación óptima de uno a uno de la GPU con la NIC. El diseño también evita la contención en el bus PCIe del servidor, por lo que el rendimiento se escala linealmente con los demás dispositivos.

Ahorro de recursos económicos

Dado que la GPU y SmartNIC se conectan directamente, los clientes pueden aprovechar los principales servidores PCIe Gen4 o incluso Gen3 para obtener un rendimiento que solo sería posible con sistemas de gama alta o diseñados a propósito. El uso de una sola tarjeta también consigue reducir el consumo, el espacio y las ranuras PCIe, lo que permite ahorrar costes al permitir más aceleradores por servidor.

Preparado para la aplicación

Las bibliotecas de software de aceleración de núcleos, como la Biblioteca de comunicación colectiva de NVIDIA (NCCL) y la Unified Communication X (UCX^®), utilizan la ruta de acceso más eficaz automáticamente para la transferencia de datos a las GPU. Como resultado, las aplicaciones aceleradas existentes de varios nodos pueden sacar partido de H100 CNX sin ninguna modificación, lo que ofrece ventajas inmediatas.

Sistemas de IA más rápidos y eficientes

Entrenamiento distribuido de IA en varios nodos

Formación distribuida en IA de varios nodos

Al ejecutar cargas de trabajo de entrenamiento distribuido de IA que implican la transferencia de datos entre GPU en distintos hosts, los servidores a menudo experimentan limitaciones de rendimiento, escalabilidad y densidad. Los servidores empresariales habituales no incluyen un conmutador PCIe, por lo que se produce un embotellamiento en la CPU respecto a este tráfico, especialmente en el caso de máquinas virtuales. La transferencia de datos está ligada a la velocidad de la placa de bus común PCIe del host. La contención puede deberse a un problema de equilibrio entre el número de GPU y de NIC. Aunque lo ideal es la relación de uno a uno, el número de carriles y ranuras PCIe en el servidor puede limitar el número total de dispositivos.

El H100 CNX mitiga este problema. Con una ruta específica que va de la red a la GPU, se permite que GPUDirect^® RDMA funcione a velocidades de línea cercanas. La transferencia de datos también se produce a velocidades PCIe Gen5, independientemente de la placa de bus común PCIe. El aumento de la potencia de la GPU en un host se puede hacer de forma equilibrada, ya que se consigue la relación ideal entre la GPU y la NIC. Un servidor también puede equiparse con más potencia de aceleración, ya que los aceleradores convergentes necesitan menos carriles y ranuras para los dispositivos PCIe que las tarjetas discretas.

Aceleración de la IA perimetral en 5G

IA en 5G de NVIDIA se compone de la plataforma empresarial NVIDIA EGX^™, el SDK NVIDIA Aerial^™ para redes de área de radio virtual (vRANs) 5G definidas por software y entornos de trabajo de IA empresariales, incluidos SDK como NVIDIA Isaac^™ y NVIDIA Metropolis. Esta plataforma permite que los dispositivos perimetrales (como, por ejemplo, cámaras de vídeo, sensores industriales y robots) utilicen la IA y se comuniquen con los servidores a través de 5G.

Los aceleradores convergentes de NVIDIA proporcionan la plataforma de mayor rendimiento para ejecutar aplicaciones 5G. Como los datos no necesitan pasar por el sistema host PCI, la latencia de procesamiento se reduce considerablemente. El mismo acelerador convergente utilizado para acelerar el procesamiento de la señal 5G también se puede utilizar para la IA perimetral con la tecnología Multi-Instance GPU (MIG) de NVIDIA, que permite compartir la GPU entre varias aplicaciones diferentes. H100 CNX permite proporcionar toda esta funcionalidad mediante un solo servidor empresarial sin tener que implementar sistemas más costosos que se hayan diseñado expresamente para ello.

Especificaciones de H100 CNX

	Especificaciones
Memoria de la GPU	80 GB de HBM2e
Ancho de banda de memoria	> 2,0 TB/s
Instancias de MIG	7 instancias a 10 GB cada una 3 instancias a 20 GB cada una 2 instancias a 40 GB cada una
Interconexión	PCIe Gen5: 128 GB/s
NVLINK Bridge	Doble sentido
Redes	Puertos 1x de 400 GB/s, 2x de 200 GB/s, Ethernet o InfiniBand
Formato	Ranura doble de longitud y altura completas (FHFL)
Máxima potencia	350 W

Descubre la arquitectura NVIDIA Hopper

Leer El Informe Técnico