Microservicios de NVIDIA NIM
Diseñados para la implementación rápida y confiable de inferencia de IA generativa acelerada en cualquier lugar.
Descripción General
¿Qué Es NVIDIA NIM?
NVIDIA NIM™ proporciona microservicios de inferencia predesarrollados y optimizados para implementar rápidamente los modelos de IA más recientes en cualquier infraestructura acelerada por NVIDIA: la nube, el data center, las workstations y el edge.
Acelere la Implementación de IA con NVIDIA NIM
NVIDIA NIM combina la facilidad de uso y la simplicidad operativa de las API administradas con la flexibilidad y la seguridad de los modelos de autoalojamiento en su infraestructura preferida. Los microservicios NIM vienen con todo lo que los equipos de IA necesitan: los últimos modelos base de IA, motores de inferencia optimizados, API estándar de la industria y dependencias de tiempo de ejecución; preempaquetados en contenedores de software de nivel empresarial y listos para implementarlos y escalarlos en cualquier lugar.
Beneficios
IA Generativa Empresarial que Hace Más con Menos
Microservicios sencillos, de nivel empresarial, creados para una IA de alto desempeño, diseñados para trabajar sin dificultades y escalar de forma asequible. Experimente el tiempo de obtención de valor más rápido para los agentes de IA y otras aplicaciones empresariales de IA generativa impulsadas por los modelos de IA más recientes para razonamiento, simulación, habla y más.
Facilidad de Uso
Acelere la innovación y el tiempo de comercialización con microservicios predesarrollados y optimizados para los modelos de IA más recientes. Con las API estándar, los modelos se pueden implementar en cinco minutos y se los puede integrar fácilmente en las aplicaciones.
Nivel Empresarial
Implemente microservicios de nivel empresarial que NVIDIA administra continuamente a través de procesos rigurosos de validación y ramificaciones de funciones dedicadas, todo con el respaldo de la asistencia empresarial de NVIDIA, que también ofrece acceso directo a los expertos en IA de NVIDIA.
Desempeño y Escala
Mejore el costo total de propiedad con una inferencia de IA de baja latencia y alto desempeño que escala con la nube, y logre la mejor exactitud gracias a la compatibilidad con modelos de ajuste fino listos para usarse.
Portabilidad
Implemente en cualquier lugar con microservicios predesarrollados y nativos de la nube, listos para ejecutarse en cualquier infraestructura acelerada por NVIDIA (nube, data centers y workstations) y escale sin problemas en Kubernetes y en los entornos de proveedores de servicios en la nube.
Demostración
Desarrolle Agentes de IA con NIM
Aprenda a configurar dos agentes de IA, uno para la generación de contenido y otro para diseño gráfico digital, y vea lo fácil que es comenzar a usar los microservicios NIM.
Tecnología
Componentes de la IA Basada en Agentes
Análisis de Referencia
Impulse el Rendimiento con NIM
NVIDIA NIM proporciona una latencia y un rendimiento optimizados de inmediato para maximizar la generación de tókenes, admitir usuarios simultáneos en las horas pico y mejorar la capacidad de respuesta. Los microservicios NIM se actualizan continuamente con los motores de inferencia optimizados más recientes, lo que aumenta el desempeño de la misma infraestructura con el tiempo.
Configuración: Llama 3.1 8B instruct, 1 H100 SXM; solicitudes simultáneas: 200. NIM ACTIVADO: FP8, rendimiento de 1201 tókenes/s, ITL 32 ms. NIM DESACTIVADO: FP8, rendimiento de 613 tókenes/segundo, ITL 37 ms.
Modelos
Desarrolle con los Modelos Abiertos Líderes
Obtenga un desempeño de inferencia optimizado para los modelos de IA más recientes a fin de impulsar la IA multimodal de agentes con razonamiento, lenguaje, recuperación, habla, imagen y más. NIM viene con motores de inferencia acelerados de NVIDIA y de la comunidad, incluidos NVIDIA® TensorRT™, TensorRT-LLM y más, preconstruidos y optimizados para brindar una inferencia de baja latencia y alto desempeño en la infraestructura acelerada por NVIDIA.
Funciones
El Botón Fácil para el Desarrollo y la Implementación de IA
Los microservicios de inferencia NIM están diseñados para ejecutarse en cualquier lugar y exponen las API estándar de la industria para una fácil integración con sistemas y aplicaciones empresariales, así como para un escalado sin problemas en Kubernetes, con el fin de ofrecer una inferencia de alto rendimiento y baja latencia a escala de la nube.
Implemente NIM
Implemente NIM en su modelo con un solo comando. También puede ejecutar fácilmente NIM con modelos de ajuste fino.
Ejecute Inferencia
Comience a usar NIM con el motor de tiempo de ejecución óptimo basado en su infraestructura acelerada por NVIDIA.
Desarrolle
Integre terminales NIM autoalojados con tan solo unas pocas líneas de código.
Casos de Uso
Cómo se Está Usando NIM
Vea cómo la NVIDIA NIM respalda casos de uso de la industria y comience rápidamente su desarrollo de IA con ejemplos seleccionados.
-
Asistentes Virtuales de IA
-
Inteligencia en Documentos
-
Compras Hiperpersonalizadas
-
Configuradores de Productos 3D
Asistentes Virtuales de IA
Mejore la experiencia del cliente y los procesos empresariales con la IA generativa.
Procesamiento Inteligente de Documentos
Use la IA generativa para acelerar y automatizar el procesamiento de documentos.
IA para Compras Hiperpersonalizadas
Ofrezca experiencias personalizadas que mejoren la satisfacción del cliente con el poder de la IA.
Configuradores de Productos 3D
Use OpenUSD y la IA generativa para desarrollar e implementar herramientas y experiencias del configurador de productos 3D en casi cualquier dispositivo.
Opciones de Inicio
Maneras de empezar a usar NVIDIA NIM
Recursos
Los Recursos de NVIDIA NIM Más Recientes
-
Blogs
-
Sesiones
-
Cursos
-
Videos
