Inferencia de IA

NVIDIA Dynamo

Escale y Sirva a la IA Generativa Rápidamente.

Empiece Ahora

Lea el Comunicado de Prensa | Lea el Blog de Tecnología

    Descripción General

    Inferencia Distribuida de Baja Latencia
    para la IA Generativa

    NVIDIA Dynamo es un framework de inferencia modular de código abierto para servir a modelos de IA generativa en entornos distribuidos. Permite el escalado sin problemas de las cargas de trabajo de inferencia en grandes flotas de GPU con programación dinámica de recursos, enrutamiento inteligente de solicitudes, administración de memoria optimizada y transferencia de datos acelerada.

    Al servir al modelo de razonamiento de código abierto DeepSeek-R1 671B en NVIDIA GB200 NVL72, NVIDIA Dynamo aumentó el número de solicitudes atendidas hasta en 30 veces, lo que la convierte en la solución ideal para las fábricas de IA que buscan ejecutarse con el menor costo posible para maximizar la generación de ingresos por tokens.

    NVIDIA Dynamo es compatible con todos los principales backends de inferencia de IA y cuenta con optimizaciones específicas de los grandes modelos de lenguaje (LLM), como el servicio desagregado, la aceleración y el escalado de modelos de razonamiento de IA al menor costo y con la más alta eficiencia. Será compatible con esta función como parte de NVIDIA AI Enterprise en una versión futura.

    ¿En Qué Consiste la Inferencia Distribuida?

    La inferencia distribuida es el proceso de ejecutar la inferencia de modelos de IA en múltiples dispositivos o nodos de computación para maximizar el rendimiento al establecer cómputos en paralelo. 

    Este enfoque permite el escalado eficiente de aplicaciones de IA a gran escala, como la IA generativa, al distribuir cargas de trabajo en las GPU o la infraestructura de nube. La inferencia distribuida mejora el desempeño general y la utilización de recursos al permitir a los usuarios optimizar la latencia y el rendimiento para los requisitos únicos de cada carga de trabajo

    Funciones

    Explore las Funciones de NVIDIA Dynamo

    Servicio Desagregado

    Separa las fases de contexto (prerellenado) y de generación (decodificación) de LLM en distintas GPU, lo que habilita el paralelismo de modelos personalizado y la asignación de GPU independiente para aumentar las solicitudes atendidas por GPU.

    Planificador de GPU

    Supervisa la capacidad de la GPU en entornos de inferencia distribuidos y asigna dinámicamente trabajadores de GPU en todas las fases de contexto y generación  para resolver cuellos de botella y optimizar el desempeño.

    Enrutador Inteligente

    Enruta el tráfico de inferencia de manera eficiente, lo que minimiza el costoso recálculo de solicitudes repetidas o superpuestas para preservar los recursos de computación, a la vez que garantiza una distribución de carga equilibrada en grandes flotas de GPU.

    Biblioteca de Comunicaciones de Baja Latencia

    Acelera el movimiento de datos en la configuración de inferencia distribuida, a la vez que simplifica las complejidades de transferencia en diversos tipos de hardware, como las GPU, las CPU, las redes y el almacenamiento.

    Beneficios

    Los Beneficios de NVIDIA Dynamo

    Escale Sin Problemas Desde Una GPU a Miles de GPU

    Optimice y automatice la configuración de clústeres de GPU con herramientas preconstruidas y fáciles de implementar y habilite el escalado automático dinámico con métricas específicas de LLM en tiempo real, lo que evita el aprovisionamiento excesivo o insuficiente de recursos de GPU.

    Aumente la Capacidad de Servicio de Inferencia a la Vez que Reduce los Costos

    Aproveche las optimizaciones avanzadas de servicio de inferencia de LLM, como el servicio desagregado, para aumentar el número de solicitudes de inferencia atendidas sin comprometer la experiencia del usuario.

    Prepare Su Infraestructura de IA para el Futuro y Evite Costosas Migraciones

    El diseño abierto y modular le permite elegir fácilmente los componentes de servicio de inferencia que se adaptan a sus necesidades únicas, lo que garantiza la compatibilidad con su pila de IA existente y evita costosos proyectos de migración.

    Acelere el Tiempo para Implementar Nuevos Modelos de IA en Producción

    La compatibilidad de NVIDIA Dynamo con todos los principales frameworks, como TensorRT-LLM, vLLM, SGLang, PyTorch y más, garantiza su capacidad de implementar rápidamente nuevos modelos de IA generativa, independientemente de su backend.

    Acelere la Inferencia Distribuida

    NVIDIA Dynamo es totalmente de código abierto, lo que le brinda total transparencia y flexibilidad. Implemente NVIDIA Dynamo, contribuya a su crecimiento e intégrelo sin problemas en su pila existente.

     ¡Descúbralo en GitHub y únase a la comunidad!

    Empiece Ahora

    Desarrolle

    Para personas que buscan obtener acceso al código de código abierto del Servidor de Inferencia Triton para el desarrollo.

    Código de Acceso

    Desarrolle

    Para personas que buscan acceder a los contenedores gratuitos del Servidor de Inferencia Triton para desarrollo.

    Obtenga un Contenedor

    Experimente

    Acceda a la infraestructura alojada en NVIDIA y a los laboratorios prácticos guiados que incluyen instrucciones paso a paso y ejemplos, disponibles de forma gratuita en NVIDIA LaunchPad.

    Acceda a los Laboratorios Prácticos

    Implemente

    Obtenga una licencia gratuita para probar NVIDIA AI Enterprise en producción durante 90 días con su infraestructura existente.

    Solicite una Licencia de 90 Días

    Casos de Uso

    Implementación de IA con NVIDIA Dynamo

    Descubra cómo puede impulsar la innovación con NVIDIA Dynamo.

    Servicio para Modelos de Razonamiento

    Los modelos de razonamiento generan más tokens para resolver problemas complejos, lo que aumenta los costos de inferencia. NVIDIA Dynamo optimiza estos modelos con funciones como el servicio desagregado. Este enfoque separa las fases de prerellenado y decodificación en distintas GPU, lo que les permite a los equipos de inferencia de IA optimizar cada fase de forma independiente. El resultado es una mejor utilización de recursos, más consultas atendidas por GPU y menores costos de inferencia.

    Inferencia Distribuida

    A medida que los modelos de IA se vuelven demasiado grandes para caber en un solo nodo, brindarles servicio de manera eficiente se convierte en un desafío. La inferencia distribuida requiere dividir modelos en múltiples nodos, lo que agrega complejidad en la orquestación, el escalado y la comunicación. Garantizar que estos nodos funcionen como una unidad cohesiva, especialmente en cargas de trabajo dinámicas, exige una administración cuidadosa. NVIDIA Dynamo simplifica esto al proporcionar capacidades preconstruidas en Kubernetes, que manejan sin problemas la programación, el escalado y el servicio para que pueda centrarse en la implementación de IA, no en la administración de infraestructura.

    Agentes de IA Escalables

    Los agentes de IA dependen de múltiples modelos (LLM, sistemas de recuperación y herramientas especializadas) que funcionan sincronizados en tiempo real. El escalado de estos agentes es un desafío complejo que requiere programación inteligente de GPU, administración eficiente de caché de KV y comunicación de latencia ultra baja para mantener la capacidad de respuesta.
    NVIDIA Dynamo agiliza este proceso con un planificador de GPU inteligente, un enrutador inteligente y una biblioteca de comunicaciones de baja latencia integrados, lo que hace que el escalado de agentes de IA se realice sin problemas y sea eficiente.

     

    Generación de Código

    La generación de código a menudo requiere un refinamiento iterativo para ajustar indicaciones, aclarar requisitos o depurar salidas en función de las respuestas del modelo. Este proceso de ida y vuelta requiere recálculo de contexto con cada turno de usuario, lo que aumenta los costos de inferencia. NVIDIA Dynamo optimiza este proceso al habilitar la reutilización y la descarga de contexto a memoria rentable, lo que minimiza el costoso recálculo y reduce los costos generales de inferencia.

    Testimonios de Clientes

    Vea lo que los Líderes de la Industria Tienen para Decir sobre NVIDIA Dynamo

    Más Historias de Clientes

    Cohere

    “El escalado de modelos de IA avanzados requiere programación sofisticada de múltiples GPU, coordinación sin problemas y bibliotecas de comunicación de baja latencia que transfieren contextos de razonamiento de forma fluida en la memoria y el almacenamiento. Esperamos que Dynamo nos ayude a ofrecerles una experiencia de usuario de primer nivel a nuestros clientes empresariales”. Saurabh Baji, Vicepresidente Sénior de Ingeniería de Cohere

    Perplexity AI

    "Como manejamos cientos de millones de solicitudes mensualmente, confiamos en las GPU y el software de inferencia de NVIDIA para ofrecer el desempeño, la confiabilidad y la escala que exigen nuestro negocio y nuestros usuarios. Esperamos aprovechar Dynamo con sus capacidades de servicio distribuido mejoradas para impulsar aún más la eficiencia del servicio de inferencia y satisfacer las demandas de computación de nuevos modelos de razonamiento de IA". Denis Yarats, Director de Tecnología de Perplexity AI.

    Together AI

    “El escalado de modelos de razonamiento de manera rentable requiere nuevas técnicas avanzadas de inferencia, como el servicio desagregado y el enrutamiento consciente del contexto. Together AI proporciona un desempeño líder en la industria con nuestro motor de inferencia patentado. La apertura y modularidad de Dynamo nos permitirán conectar fácilmente sus componentes a nuestro motor para servir a más solicitudes y a la vez optimizar el uso de recursos, y así maximizar nuestra inversión en computación acelerada". " Ce Zhang, Director de Tecnología de Together AI.

    Cohere

    “El escalado de modelos de IA avanzados requiere programación sofisticada de múltiples GPU, coordinación sin problemas y bibliotecas de comunicación de baja latencia que transfieren contextos de razonamiento de forma fluida en la memoria y el almacenamiento. Esperamos que NVIDIA Dynamo nos ayude a ofrecerles una experiencia de usuario de primer nivel a nuestros clientes empresariales”. Saurabh Baji, Vicepresidente Sénior de Ingeniería de Cohere

    Perplexity AI

    "Como manejamos cientos de millones de solicitudes mensualmente, confiamos en las GPU y el software de inferencia de NVIDIA para ofrecer el desempeño, la confiabilidad y la escala que exigen nuestro negocio y nuestros usuarios. Esperamos aprovechar Dynamo con sus capacidades de servicio distribuido mejoradas para impulsar aún más la eficiencia del servicio de inferencia y satisfacer las demandas de computación de nuevos modelos de razonamiento de IA". Denis Yarats, Director de Tecnología de Perplexity AI.

    Together AI

    “El escalado de modelos de razonamiento de manera rentable requiere nuevas técnicas avanzadas de inferencia, como el servicio desagregado y el enrutamiento consciente del contexto. Together AI proporciona un desempeño líder en la industria con nuestro motor de inferencia patentado. La apertura y modularidad de NVIDIA Dynamo nos permitirán conectar fácilmente sus componentes a nuestro motor para servir a más solicitudes y a la vez optimizar el uso de recursos, y así maximizar nuestra inversión en computación acelerada". Ce Zhang, Director de Tecnología de Together AI.

    Adoptantes

    Adoptantes Líderes en Todas las Industrias

    Recursos

    Lo Último en Inferencia de NVIDIA

    Acceda a las Últimas Noticias

    Lea las últimas actualizaciones y anuncios sobre inferencia para el Servidor de Inferencia NVIDIA Dynamo.

    Vea Todos los Blogs de Inferencia

    Explore los Blogs Técnicos

    Lea instrucciones técnicas sobre cómo comenzar a usar la inferencia.

    Vea Todos los Blogs de Inferencia Técnica de LLM

    Analice en Detalle

    Acceda a consejos y mejores prácticas para implementar, ejecutar y escalar modelos de IA para inferencia de IA generativa, LLM, sistemas de recomendación, visión por computadora y más.

    Lea Ahora
    Vea Todos los Blogs

    Implementación, Optimización y Análisis Comparativo de LLM

    Aprenda a servir a los LLM de manera eficiente con instrucciones paso a paso. Abordaremos cómo implementar fácilmente un LLM en múltiples backends y comparar su desempeño, y también cómo ajustar las configuraciones de implementación para lograr un desempeño óptimo.

    Vea la Sesión de GTC On Demand

    Lleve los Casos de Uso de IA Empresarial del Desarrollo a la Producción

    Descubra qué es la inferencia de IA, cómo se adapta a la estrategia de implementación de IA de su empresa, cuáles son los desafíos clave en la implementación de casos de uso de IA de nivel empresarial, por qué se necesita una solución de inferencia de IA de pila completa para abordar estos desafíos, los principales componentes de una plataforma de pila completa y cómo implementar su primera solución de inferencia de IA.

    Vea la Sesión On Demand

    Aproveche el Poder de las Soluciones de Inferencia de IA Preparadas para la Nube

    Explore cómo la plataforma de inferencia de IA de NVIDIA se integra sin problemas con los proveedores líderes de servicios en la nube, lo que simplifica la implementación y acelera el lanzamiento de casos de uso de IA impulsados por LLM.

    Vea la Sesión On Demand
    Vea Más Sesiones

    Guía de Inicio Rápido

    ¿Es nuevo usuario de NVIDIA Dynamo y desea implementar su modelo rápidamente? Use esta guía de inicio rápido para comenzar su proceso con NVIDIA Dynamo

    Lea Ahora

    Tutoriales

    Comenzar a usar NVIDIA Dynamo puede generar muchas preguntas. Explore este repositorio para familiarizarse con las funciones de NVIDIA Dynamo y encontrar guías y ejemplos que pueden ayudarle a facilitar la migración.

    Lea Ahora

    NVIDIA LaunchPad

    En los laboratorios prácticos, experimente una IA rápida y escalable con NVIDIA Dynamo. Podrás aprovechar de inmediato los beneficios de la infraestructura de computación acelerada de NVIDIA y escalar tus cargas de trabajo de IA.

    Explorar Ahora

    Las 5 Razones Principales por las Cuales NVIDIA Dynamo Está Simplificando la Inferencia

    El Servidor de Inferencia NVIDIA Dynamo simplifica la implementación de modelos de IA a escala en producción, lo que les permite a los equipos implementar modelos de IA entrenados desde cualquier framework, desde un almacenamiento local o una plataforma en la nube en cualquier infraestructura basada en GPU o CPU.

    Vea Ahora

    Implemente el Pipeline de Stable Diffusion de HuggingFace con NVIDIA Dynamo

    Este video muestra la implementación del pipeline de Stable Diffusion disponible a través de la biblioteca de difusores de HuggingFace. Usamos el Servidor de Inferencia NVIDIA Dynamo para implementar y ejecutar el pipeline.

    Vea Ahora

    Comience a Usar el Servidor de Inferencia NVIDIA Dynamo

    NVIDIA Dynamo es una solución de inferencia de código abierto que estandariza la implementación de modelos y habilita una IA rápida y escalable en producción. Debido a sus muchas funciones, una pregunta natural es: ¿por dónde comienzo? Mire para averiguarlo.

    Vea Ahora
    Vea Más Videos

    Próximos Pasos

    ¿Listo para Empezar?

    ¡Descargue en GitHub y únase a la comunidad!

    Empiece Ahora

    Para Desarrolladores

    Explore todo lo que necesita para comenzar a desarrollar con NVIDIA Dynamo, incluida la documentación, los tutoriales, los blogs técnicos más recientes, etc.

    Comience a Desarrollar

    Contáctenos

    Hable con un especialista en productos NVIDIA sobre el paso de la fase de pruebas a la de producción con la seguridad, la estabilidad de las API y la asistencia de NVIDIA AI Enterprise.

    Contáctenos
    Descubra Cómo Snapchat Está Usando Triton para Mejorar la Experiencia de Compra
    Vea Cómo el Analizador de Modelos Triton Optimiza la Implementación de Modelos
    Lea la Guía del Analizador de Desempeño de IA Generativa
    Lea Sobre el Servicio a Pipelines de Modelos en Triton con Modelos Ensemble
    Implemente en Amazon SageMaker
    Implemente en Google Vertex AI
    Implemente en Azure ML Studio
    Implemente en Oracle Cloud

    Lea el Comunicado de Prensa | Lea el Blog de Tecnología

    Acceda a las Últimas Noticias

    Lea las últimas actualizaciones y anuncios sobre inferencia para el Servidor de Inferencia Dynamo.

    Vea Todos los Blogs de Dynamo

    Explore los Blogs Técnicos

    Lea instrucciones técnicas sobre cómo comenzar a usar la inferencia.

    Vea Todos los Blogs de Inferencia Técnica de LLM

    Analice en Detalle

    Acceda a consejos y mejores prácticas para implementar, ejecutar y escalar modelos de IA para inferencia de IA generativa, LLM, sistemas de recomendación, visión por computadora y más.

    Lea Ahora
    Vea Todos los Blogs

    Implementación, Optimización y Análisis Comparativo de LLM

    Aprenda a servir a los LLM de manera eficiente con instrucciones paso a paso. Abordaremos cómo implementar fácilmente un LLM en múltiples backends y comparar su desempeño, y también cómo ajustar las configuraciones de implementación para lograr un desempeño óptimo.

    Vea la Sesión de GTC On Demand

    Lleve los Casos de Uso de IA Empresarial del Desarrollo a la Producción

    Descubra qué es la inferencia de IA, cómo se adapta a la estrategia de implementación de IA de su empresa, cuáles son los desafíos clave en la implementación de casos de uso de IA de nivel empresarial, por qué se necesita una solución de inferencia de IA de pila completa para abordar estos desafíos, los principales componentes de una plataforma de pila completa y cómo implementar su primera solución de inferencia de IA.

    Vea la Sesión On Demand

    Aproveche el Poder de las Soluciones de Inferencia de IA Preparadas para la Nube

    Explore cómo la plataforma de inferencia de IA de NVIDIA se integra sin problemas con los proveedores líderes de servicios en la nube, lo que simplifica la implementación y acelera el lanzamiento de casos de uso de IA impulsados por LLM.

    Vea la Sesión On Demand
    Vea Más Sesiones

    Guía de Inicio Rápido

    ¿Es nuevo usuario de Dynamo y desea implementar su modelo rápidamente? Use esta guía de inicio rápido para comenzar su proceso con Dynamo.

    Lea Ahora

    Tutoriales

    Comenzar a usar Dynamo puede generar muchas preguntas. Explore este repositorio para familiarizarse con las funciones de Dynamo y encontrar guías y ejemplos que pueden ayudarle a facilitar la migración.

    Lea Ahora

    NVIDIA LaunchPad

    En los laboratorios prácticos, experimente una IA rápida y escalable con NVIDIA Dynamo. Podrá aprovechar de inmediato los beneficios de la infraestructura de computación acelerada de NVIDIA y escalar sus cargas de trabajo de IA.

    Explorar Ahora
    Vea Todos los Blogs

    Las 5 Razones Principales por las Cuales Dynamo Está Simplificando la Inferencia

    El Servidor de Inferencia NVIDIA Dynamo simplifica la implementación de modelos de IA a escala en producción, lo que les permite a los equipos implementar modelos de IA entrenados desde cualquier framework, desde un almacenamiento local o una plataforma en la nube en cualquier infraestructura basada en GPU o CPU.

    Vea Ahora

    Implemente el Pipeline de Stable Diffusion de HuggingFace con Dynamo

    Este video muestra la implementación del pipeline de Stable Diffusion disponible a través de la biblioteca de difusores de HuggingFace. Usamos el Servidor de Inferencia Dynamo para implementar y ejecutar el pipeline.

    Vea Ahora

    Comience a Usar el Servidor de Inferencia NVIDIA Dynamo

    El Servidor de Inferencia Dynamo es una solución de inferencia de código abierto que estandariza la implementación de modelos y habilita una IA rápida y escalable en producción. Debido a sus muchas funciones, una pregunta natural es: ¿por dónde comienzo? Mire para averiguarlo.

    Vea Ahora
    Vea Todos los Blogs
    Productos
    Tecnologías
    Software
    Recursos