This site requires Javascript in order to view all its content. Please enable Javascript in order to access all the functionality of this web site. Here are the instructions how to enable JavaScript in your web browser.

Acelerador Convergente NVIDIA H100 CNX

Rendimiento sin precedentes para las cargas de trabajo intensivas de E/S e impulsadas por GPU.

Más Información

Aceleración de Computación y Red Unificada

Experimenta el rendimiento sin precedentes de la aceleración convergente. NVIDIA H100 CNX combina la potencia de la GPU NVIDIA H100 Tensor Core con las capacidades de red avanzadas de la tarjeta de interfaz de red inteligente (SmartNIC) NVIDIA^® ConnectX^®-7 para acelerar las cargas de trabajo intensivas de entrada y salida (E/S) e impulsadas por GPU, como el entrenamiento distribuido de IA en el data center empresarial y el procesamiento de redes 5G en el edge.

Datasheet del NVIDIA H100 CNX (PDF 63 KB)

Mejor Rendimiento de E/S

NVIDIA H100 y ConnectX-7 están conectados mediante un switch PCIe Gen5 integrado, que proporciona una ruta de alta velocidad dedicada para las transferencias de datos entre la GPU y la red. Esto elimina los obstáculos de los datos que atraviesan el host y proporciona una latencia baja y predecible, lo que es importante para las aplicaciones sensibles al tiempo, como el procesamiento de señales 5G.

Diseño Optimizado y Equilibrado

La integración de una GPU y una SmartNIC en un solo dispositivo permite una arquitectura equilibrada por diseño. En los sistemas donde se necesitan varias GPU, una tarjeta aceleradora convergente aplica la relación óptima entre una GPU y una NIC. El diseño también evita la contención en el bus PCIe del servidor, por lo que el rendimiento se escala linealmente con dispositivos adicionales.

Ahorro de Costos

Debido a que la GPU y la SmartNIC están conectadas directamente, los clientes pueden aprovechar los principales servidores PCIe Gen4 o incluso Gen3 para alcanzar un nivel de rendimiento solo posible con sistemas de gama alta o diseñados a medida. El uso de una sola tarjeta también ahorra energía, espacio y ranuras para dispositivos PCIe, lo que permite un mayor ahorro de costos al permitir una mayor cantidad de aceleradores por servidor.

Ideal para Aplicaciones

Las bibliotecas de software de aceleración de núcleos, como NVIDIA Collective Communications Library (NCCL) y Unified Communication X (UCX^®) automáticamente hacen uso de la ruta de mejor rendimiento para las transferencias de datos a la GPU. Como resultado, las aplicaciones de varios nodos aceleradas existentes pueden aprovechar la H100 CNX sin ninguna modificación, lo que brinda beneficios inmediatos.

Sistemas de IA Más Rápidos y Eficientes

Entrenamiento de IA Distribuido en Varios Nodos

Cuando se ejecutan cargas de trabajo distribuidas de entrenamiento de IA que implican transferencias de datos entre GPU en diferentes hosts, los servidores a menudo se ejecutan con limitaciones de rendimiento, escalabilidad y densidad. Los servidores empresariales típicos no incluyen un switch PCIe, por lo que la CPU se convierte en un obstáculo para este tráfico, especialmente para las máquinas virtuales. Las transferencias de datos dependen de la velocidad del backplane PCIe del host. La limitación puede deberse a un desequilibrio entre la cantidad de GPU y NIC. Si bien la relación uno a uno es ideal, la cantidad de carriles y ranuras PCIe en el servidor puede limitar la cantidad total de dispositivos.

La H100 CNX reduce este problema. Con una ruta dedicada de la red a la GPU, permite que GPUDirect^® RDMA funcione a velocidades cercanas a la línea. La transferencia de datos también se produce a velocidades PCIe Gen5, más allá del backplane PCIe del host. La escalabilidad de la potencia de la GPU en un host se puede realizar de forma equilibrada, ya que se logra la relación ideal entre la GPU y la NIC. Un servidor también se puede equipar con más potencia de aceleración, ya que los aceleradores convergentes requieren menos carriles de PCIe y ranuras de dispositivos que las tarjetas discretas.

Acelera la IA en 5G del Edge

La IA en 5G de NVIDIA está compuesta por la plataforma empresarial NVIDIA EGX^™, el SDK NVIDIA Aerial^™ para redes de área de radio virtuales (vRAN) 5G y definidas por software, y frameworks de IA empresariales, que incluyen SDK como NVIDIA Isaac^™ y NVIDIA Metropolis. Esta plataforma permite que los dispositivos en el edge, como cámaras de video y sensores industriales y robots, usen la IA y se comuniquen con servidores a través de 5G.

Los aceleradores convergentes de NVIDIA proporcionan la plataforma de más alto rendimiento para ejecutar aplicaciones 5G. Dado que los datos no necesitan pasar por el sistema PCIe de host, la latencia de procesamiento se reduce enormemente. El mismo acelerador convergente que se usa para acelerar el procesamiento de señales 5G también se puede usar para la IA en el edge con la tecnología de GPU de Múltiples Instancias (MIG) de NVIDIA, que permite compartir una GPU entre varias aplicaciones. La H100 CNX proporciona toda esta funcionalidad en un único servidor empresarial, sin tener que implementar sistemas más costosos y diseñados específicamente.

Especificaciones de H100 CNX

	Especificaciones
Memoria de GPU	HBM2e de 80 GB
Ancho de banda de memoria	> 2.0 TB/s
Instancias de MIG	7 instancias de GPU con 10 GB cada una 3 instancias de GPU con 20 GB cada una 2 instancias de GPU con 40 GB cada una
Interconexión	PCIe Gen5 de 128 GB/s
NVLINK Bridge	Dos vías
Redes	1 puerto de 400 Gb/s, 2 puertos de 200 Gb/s, Ethernet o InfiniBand
Formato	Ranura doble, altura completa, longitud completa (FHFL)
Consumo máximo de energía	350 W

Explora en Detalle la Arquitectura NVIDIA Hopper

Leer el Documento Técnico