arquitecturas de referencia
Cree fábricas de IA empresarial que escalen
Convierta su centro de datos en una fábrica de IA de alto rendimiento con las arquitecturas de referencia de NVIDIA.
Descripción general
Los elementos fundamentales para el éxito de la IA
Las arquitecturas de referencia (RA) de NVIDIA permiten a las organizaciones diseñar, implementar y escalar fábricas de IA de alto rendimiento utilizando una infraestructura validada y repetible. Estos diseños combinan computación certificada, redes de alta velocidad este-oeste y norte-sur, herramientas de observabilidad y software de infraestructura para garantizar un rendimiento escalable, desde clústeres de cuatro nodos hasta entornos a escala empresarial.
Arquitecturas de referencia de NVIDIA
Su guía para toda familia
Ya está disponible un conjunto completo de instrucciones para configurar clústeres en el centro de datos.
Casos de uso
Diseñado para cada caso de uso
Acelere la IA de agentes, la IA física, la computación de alto rendimiento (HPC) y las cargas de trabajo de simulación de IA con arquitecturas de referencia de NVIDIA probadas y sistemas certificados por NVIDIA de partners globales. A continuación se describen las principales configuraciones de clústeres de infraestructura para implementar fábricas de IA empresariales.
-
NVIDIA RTX PRO AI Factory
-
NVIDIA HGX AI Factory
-
NVIDIA NVL72 AI Factory
NVIDIA RTX PRO AI Factory
La configuración de NVIDIA RTX PRO™ AI Factory está diseñada para un amplio espectro de cargas de trabajo empresariales, que incluyen IA generativa y de agentes, análisis de datos, computación visual y simulación de ingeniería. Las implementaciones se optimizan en torno a puntos de diseño de 16 y 32 nodos, lo que proporciona un equilibrio ideal de rendimiento, escalabilidad y eficiencia de implementación. Diseñados para la aceleración universal de cargas de trabajo en IA empresarial, simulación y computación visual, los servidores NVIDIA RTX PRO están optimizados para entornos PCIe, lo que los hace ideales para centros de datos con limitaciones de espacio, energía y refrigeración. Diseñados específicamente para cargas de trabajo de IA modernas, proporcionan un rendimiento eficiente para la IA basada en agentes y la inferencia de modelos de lenguaje (LLM) de gran tamaño.
NVIDIA HGX AI Factory
La configuración de alto rendimiento de NVIDIA HGX™ AI Factory está diseñada específicamente para el entrenamiento y la inferencia de IA de varios nodos a escala, aprovechando los sistemas de NVIDIA HGX. Disponible en puntos de diseño de 32, 64 y 128 nodos y con el respaldo de las redes NVIDIA Spectrum-X™, la arquitectura cuenta con un diseño flexible y optimizado para arquitecturas rail que permite una integración eficiente en diversos diseños de rack, a la vez que ofrece un alto rendimiento y baja latencia. Proporciona un rendimiento innovador para usuarios avanzados de IA que ejecutan las cargas de trabajo más exigentes, permite el entrenamiento y el ajuste fino de modelos a gran escala, y acelera drásticamente la inferencia. Con precisión de próxima generación e interconexiones ultrarrápidas, la solución logra un rendimiento de tokens hasta 15 veces superior.
NVIDIA NVL72 AI Factory
La configuración de NVIDIA NVL72 AI Factory está diseñada para entrenar e implementar modelos con billones de parámetros, lo que proporciona potencia de computación a exaescala en un solo rack. Diseñado para un gran volumen de procesamiento de modelos, la inferencia multiusuario y la inferencia en tiempo real a gran escala, hace posible la próxima generación de innovación impulsada por la IA. Los puntos de diseño de implementación se centran en configuraciones de cuatro y ocho racks. Basada en una red flexible y optimizada para racks, la arquitectura se adapta a diversos diseños de rack y sistemas, a la vez que proporciona un rendimiento de alto ancho de banda y baja latencia. La plataforma ofrece un rendimiento excepcional en el ámbito de la inteligencia artificial industrial, con una eficiencia energética líder en el sector, y cuenta con la tecnología NVIDIA NVLink™ de quinta generación, núcleos Tensor FP4 e innovaciones térmicas avanzadas.
Ventajas
El valor estratégico de las arquitecturas de referencia de NVIDIA
Acceda a una infraestructura de IA escalable y de alto rendimiento con configuraciones probadas y preparadas para los socios.
Máximo rendimiento para cargas de trabajo de IA
Responda a las exigentes necesidades de la inferencia, el ajuste fino y el entrenamiento de la IA con arquitecturas que garantizan un aprovechamiento total de la GPU y un rendimiento constante en clústeres de varios nodos.
Escalado flexible, operaciones simplificadas
Amplíe fácilmente su infraestructura y garantice una implementación escalable y optimizada para hasta 128 nodos. Cree la base para soluciones de pila completa con el diseño validado de NVIDIA Enterprise AI Factory, que aprovecha nuestro ecosistema de software.
Reduzca la complejidad y el TCO
Simplifique los procesos de implementación y los diseños eficientes, reduzca la complejidad y el coste total de propiedad (TCO), al tiempo que reduce el tiempo de generación de valor.
Sostenibilidad
Siga patrones de diseño específicos y estandarizados para lograr un funcionamiento coherente de una instalación a otra, reducir la necesidad de asistencia frecuente y permitir tiempos de resolución más rápidos.
Partners
Asociados para el rendimiento
Estamos orgullosos de colaborar con partners líderes en la comercialización de soluciones de fábrica de IA empresarial. Los diseños aprobados por estos socios han superado la evaluación de nuestra Comisión de Revisión de Diseños, que ofrece orientaciones que les permiten obtener nuestra aprobación en una o varias de las siguientes categorías: infraestructura, Spectrum-X y arquitectura lógica de redes.
Arquitectura de referencia de sistemas operativos de IA soberana de Palantir con NVIDIA
La arquitectura de referencia de sistema operativo de IA soberana de Palantir se basa en las RA de NVIDIA, que han sido probadas y calificadas para ejecutar el conjunto de software completo de Palantir en la infraestructura de IA de NVIDIA con nuestros partners de sistemas globales. Esta arquitectura de IA soberana es crítica para clientes con flujos de trabajo sensibles a la latencia, requisitos de soberanía de datos y alta distribución geográfica. La arquitectura proporciona a las empresas un control total de sus datos, modelos de IA y aplicaciones.
Recursos
Más información sobre las RA de NVIDIA
La AI Factory del área de TI de NVIDIA promueve la innovación empresarial a escala
Aprovechando las arquitecturas de referencia de NVIDIA, NVIDIA creó una fábrica de IA unificada para escalar los flujos de trabajo de IA generativa y de agentes en toda la empresa, lo que garantiza la seguridad, el rendimiento y la coherencia. La plataforma admite cientos de agentes de IA que aceleran la innovación, agilizan la ingeniería de software y hardware, y optimizan las operaciones de la cadena de suministro, lo que reduce los tiempos de planificación en más de un 95 % y logra en solo un año el trabajo de ingeniería equivalente a décadas.
Próximos pasos
Preguntas frecuentes sobre las arquitecturas de referencia de NVIDIA
Las arquitecturas de referencia de NVIDIA proporcionan una orientación sobre el diseño de clústeres clara y consolidada para los partners de sistemas globales y clientes empresariales de NVIDIA que crean fábricas de IA empresarial. Abarcan computación, redes, almacenamiento y software de infraestructura, incorporando sistemas certificados por NVIDIA, almacenamiento certificado por NVIDIA, redes de NVIDIA y software de NVIDIA AI Enterprise en diseños integrados para la infraestructura de IA de producción.
Elija RTX PRO AI Factory para la IA empresarial general, lo que incluye IA agéntica y física, computación visual, analítica, simulación e inferencia de modelos de tamaño grande a mediano..
Elija HGX AI Factory para el entrenamiento de varios nodos de alto rendimiento, el ajuste fino y la inferencia a gran escala.
Elija NVL72 AI Factory para las cargas de trabajo más intensivas, que incluyen entrenamiento de modelos con billones de parámetros, razonamiento en tiempo real e inferencia de alto rendimiento a escala masiva.
Empiece con el tipo de carga de trabajo, el número de usuarios, el tamaño del modelo, el rendimiento objetivo, el volumen de datos y el plan de crecimiento. NVIDIA publica puntos de diseño para cada arquitectura, incluidos sistemas RTX PRO de 16 y 32 nodos, sistemas HGX de 32, 64 y 128 nodos, y sistemas NVL72 de 2, 4 y 8 racks. Trabaje con un partner de sistemas de NVIDIA para confirmar el diseño y la lista de materiales para su implementación.
El código sigue un formato de CPU-GPU-adaptador de red-ancho de banda. En 2-8-5-200, el sistema tiene 2 sockets de CPU, 8 GPU, 5 adaptadores de red con 1 para tráfico norte-sur y 4 para tráfico este-oeste, y un ancho de banda medio de 200 GbE de este-oeste por GPU.
La arquitectura de referencia de NVIDIA proporciona orientación para la computación, redes, almacenamiento, software de infraestructura e implementación. NVIDIA Enterprise AI Factory Validated Design añade una pila completa (full stack), seleccionada y versionada, de software de NVIDIA y de sus socios que admite cargas de trabajo de IA. Los equipos pueden utilizar la RA para planificar la infraestructura de IA mediante la capa de Kubernetes y el diseño validado para implementar y operar la pila de software en esa infraestructura.
Cisco, Dell Technologies, HPE, Lenovo y Supermicro ofrecen diseños basados en RA de NVIDIA y avalados por el NVIDIA Design Review Board. Consulte la documentación de NVIDIA RA para obtener información sobre los modelos de servidor actuales, las configuraciones de GPU, los puntos de escalado y el estado de aprobación antes de seleccionar un sistema.
Los sistemas certificados por NVIDIA validan el nodo: servidores probados para cumplir los requisitos de NVIDIA en cuanto a rendimiento, capacidad de gestión, seguridad y escalabilidad de IA empresarial.
Las arquitecturas de referencia de NVIDIA definen el clúster: cómo los sistemas certificados por NVIDIA, las redes de NVIDIA, el almacenamiento y el software de NVIDIA AI Enterprise se combinan en configuraciones repetibles para fábricas de IA empresarial.
En resumen: NVIDIA-Certified indica a los clientes que un sistema está listo para la IA; las RA de NVIDIA muestran a partners y clientes cómo ensamblar esos sistemas en implementaciones de fábricas de IA escalables.
Cisco es el líder tecnológico mundial que está revolucionando la forma en que las organizaciones se conectan y protegen en la era de la IA. Durante más de 40 años, Cisco ha conectado el mundo de forma segura. Con sus soluciones y servicios líderes en el sector basados en IA, Cisco permite a sus clientes, partners y comunidades aprovechar la innovación, mejorar la productividad y fortalecer la resiliencia digital. Con un propósito como eje central, Cisco sigue comprometido con la creación de un futuro más conectado e inclusivo para todos.
Soluciones aprobadas por el NVIDIA Design Review Board:
- Cisco Enterprise Reference Architecture for NVIDIA HGX B300: Cisco N9000 | Cisco Nexus Hyperfabric
- Cisco Enterprise Reference Architecture for NVIDIA HGX H200: Cisco N9000 | Cisco Nexus Hyperfabric
- Cisco AI POD Infrastructure for the NVIDIA 2-8-9-400 Enterprise Reference Architecture
- Cisco AI POD Infrastructure for the NVIDIA 2-8-5-200 Enterprise Reference Architecture
Dell Technologies ayuda a las organizaciones y personas a crear su futuro digital y transformar su forma de trabajar, vivir y jugar. La empresa proporciona a los clientes la cartera de tecnología y servicios más amplia e innovadora del sector para la era de la IA.
Soluciones aprobadas por el NVIDIA Design Review Board:
- Dell AI Factory With NVIDIA: NVIDIA RTX PRO Servers y H200 NVL
- Dell AI Factory With NVIDIA for Government: NVIDIA RTX PRO Servers
- Dell AI Factory With NVIDIA: HGX H200
HPE es líder en tecnología empresarial esencial, que reúne la potencia de la IA, la nube y las redes para ayudar a las organizaciones a alcanzar mejores resultados. Como pioneros que abren nuevas posibilidades, nuestra innovación y experiencia avanzan la forma en que las personas viven y trabajan. Permitimos a nuestros clientes de todos los sectores optimizar el rendimiento operativo, transformar los datos en previsión y maximizar su impacto. Atrévase a alcanzar sus metas más ambiciosas con HPE
Soluciones aprobadas por el NVIDIA Design Review Board:
- HPE AI Factory With NVIDIA: NVIDIA RTX PRO Servers
- HPE AI Factory With NVIDIA: NVIDIA HGX B300
Lenovo es una potencia tecnológica global con ingresos de 69 000 millones de dólares, ocupa el puesto 196 en la Fortune Global 500 y presta servicios a millones de clientes en 180 mercados cada día. Nuestra asociación continua con NVIDIA, centrada en una visión audaz para ofrecer una tecnología más inteligente para todos, combina servidores Lenovo con GPU aceleradas. Lenovo Hybrid AI Advantage™ con NVIDIA aumenta la productividad y la innovación con una implementación de IA más rápida, impulsada por la biblioteca de IA de Lenovo y una cartera de pila completa de infraestructura de IA, dispositivos, soluciones y servicios.
Soluciones aprobadas por el NVIDIA Design Review Board:
Supermicro es un líder mundial en soluciones de TI totales optimizadas para aplicaciones. Fundada y operativa en San José, California, Supermicro se ha comprometido a ofrecer innovación pionera en el mercado para empresas, nube, inteligencia artificial e infraestructura de TI para telecomunicaciones y borde 5G. Somos un proveedor de soluciones de TI totales con servidores, IA, almacenamiento, IoT, sistemas de conmutación, software y servicios de soporte. La experiencia de Supermicro en el diseño de placas base, fuentes de alimentación y chasis facilita aún más nuestro desarrollo y producción, permitiendo la innovación de próxima generación desde la nube hasta el borde para nuestros clientes de todo el mundo.
Soluciones aprobadas por el NVIDIA Design Review Board:
- AI Factory Solutions With NVIDIA RTX PRO Servers: Hoja de datos | Arquitectura de referencia
- AI Factory Solutions With NVIDIA HGX B300: Plano único y dual: Hoja de datos | Arquitectura de referencia
- AI Factory Solutions With NVIDIA HGX B200: Hoja de datos | Arquitectura de referencia