Soluciones de infraestructura de IA
Redes de IA
Escale aplicaciones nativas de IA al orquestar las cargas de trabajo en una infraestructura de IA distribuida geográficamente.
Descripción
Infraestructura distribuida para IA generativa, de agentes y física
Las aplicaciones de IA modernas operan en tiempo real, son hiperpersonalizadas, se basan en un uso intensivo de datos y atienden a millones de usuarios, agentes y máquinas en todo el mundo. Los operadores de telecomunicaciones se encuentran en una posición única para satisfacer esta demanda al convertir su infraestructura existente en redes de IA, lo que acerca la IA al lugar donde se utiliza la inteligencia.
Una red de IA es una plataforma de infraestructura de IA distribuida, interconectada y orquestada que ejecuta cada carga de trabajo donde ofrece el mejor rendimiento. Conecta fábricas de IA con centros regionales y sitios perimetrales, para que los datos, modelos y agentes puedan moverse de forma segura a través de sitios distribuidos que funcionan como un sistema unificado.
NVIDIA proporciona la pila de computación acelerada, redes y software que impulsa las redes de IA, lo que ayuda a los operadores a desbloquear rápidamente la capacidad de la IA distribuida e impulsar nuevas experiencias nativas de IA
Ventajas
Ejecute cada carga de trabajo de IA en la ubicación óptima
Latencia predecible
Mantenga la capacidad de respuesta de los servicios nativos de IA ejecutando la inferencia en la infraestructura más cercana a usuarios, agentes y máquinas. Esto ayuda a los operadores a cumplir los estrictos acuerdos de nivel de servicio (SLA) de experiencias de voz, visión y control en tiempo real.
Mejor economía de tokens
Ejecute cargas de trabajo de uso intensivo de tokens en nodos con la computación y las redes más rentables, lo que reduce el volumen de datos en la red y los costes de salida sin sacrificar la calidad del servicio.
Mayor utilización y resiliencia
Trate muchos sitios distribuidos como un único grupo de capacidad de IA para aumentar la utilización de la GPU y reducir los recursos desaprovechados. Si falla un sitio, las cargas de trabajo se reequilibran automáticamente en toda la red para mantener la continuidad del servicio.
Concurrencia a escala
Ejecute servicios nativos de IA en muchos sitios distribuidos para gestionar ráfagas masivas de usuarios, aplicaciones y agentes simultáneos, al tiempo que mantiene una calidad de la experiencia y un coste constantes.
Productos
Los pilares de una red de IA
NVIDIA ofrece una plataforma unificada para equipar los sitios distribuidos con una infraestructura de IA de pila completa, lo que los convierte en redes de IA conectadas y orquestadas.
Casos de uso
Inteligencia distribuida en acción
Descubra cómo las redes de IA con tecnología de NVIDIA permiten una nueva clase de aplicaciones nativas de IA que exigen acceso en tiempo real y rentable a la inteligencia a escala.
-
IA física
-
IA en tiempo real
-
Hiperpersonalización
-
Funciones de red nativas de IA
IA física
La IA física permite a robots, vehículos, cámaras y sistemas de IoT percibir, razonar y actuar en el mundo físico. Las redes de IA permiten a NVIDIA Metropolis ejecutar la IA de visión a escala de ciudad cerca de cámaras para realizar análisis en tiempo real, mientras que los robots autónomos descargan la planificación y el razonamiento más pesados a sitios cercanos cuando la computación integrada no es suficiente.
IA en tiempo real
Los servicios de IA interactivos, como los asistentes de IA conversacional, dependen de un control estricto del jitter y la latencia de extremo a extremo para resultar naturales y receptivos. Las redes de IA ejecutan estas cargas de trabajo en nodos físicamente próximos a los datos, lo que preserva el margen de latencia y enruta cada solicitud a los mejores recursos disponibles, incluso durante picos de demanda o interrupciones parciales.
Hiperpersonalización
Los asistentes de IA personalizados, las experiencias de medios de comunicación y deportes, y las aplicaciones empresariales deben adaptar las respuestas en tiempo real para miles o millones de sesiones simultáneas. En una red de IA, los operadores pueden almacenar en caché el contexto de usuarios o inquilinos en nodos regionales, así como ejecutar la lógica de personalización y la generación más cerca de los usuarios, lo que mejora la latencia de la cola, al tiempo que mantiene económicamente viable la personalización siempre activa.
Funciones de red nativas de IA
Las cargas de trabajo de red, como RAN, la dirección del tráfico y la optimización en el plano de usuario, dependen cada vez más de la IA para analizar flujos y tomar decisiones en tiempo real. Las redes de IA ejecutan estas funciones de red nativas de IA en la misma infraestructura distribuida que las aplicaciones, lo que mejora la utilización y permite un enrutamiento más inteligente, la aplicación de políticas y la optimización de la experiencia en toda la red.
Próximos pasos