Microservicios NVIDIA NIM
Diseñado para la implementación rápida y confiable de modelos de IA acelerados en cualquier lugar.
Descripción
¿Qué es NVIDIA NIM?
NVIDIA NIM™ ofrece microservicios de inferencia optimizados y prediseñados para implementar rápidamente los últimos modelos de IA en cualquier infraestructura acelerada por NVIDIA: la nube, el centro de datos, la estación de trabajo y el perímetro.
Acelere la implementación de IA con NVIDIA NIM
NVIDIA NIM combina la facilidad de uso y la simplicidad operativa de las API gestionadas con la flexibilidad y la seguridad de los modelos autohospedados en su infraestructura preferida. Los microservicios NIM incluyen todo lo que los equipos de IA requieren —los últimos modelos básicos de IA, motores de inferencia optimizados, interfaces API estándar del sector y dependencias en tiempo de ejecución— preempaquetados en contenedores de software de nivel empresarial listos para que puedan implementarse y escalarse en cualquier lugar.
Ventajas
Implemente modelos de IA más rápidamente con rendimiento integrado
Pase del prototipo a la producción con microservicios de inferencia prediseñados y optimizados para los modelos de IA más recientes. NVIDIA NIM ofrece inferencia de baja latencia y alto rendimiento a través de API estándar del sector, con la flexibilidad para implementar en la nube, centros de datos, estaciones de trabajo y el perímetro.
Facilidad de uso
Acelere la innovación y el tiempo de comercialización con microservicios optimizados y prediseñados para los últimos modelos de IA. Con las API estándar, los modelos se pueden implementar en cinco minutos e integrarse fácilmente en las aplicaciones.
Nivel empresarial
Implemente microservicios de nivel empresarial que NVIDIA gestiona continuamente a través de procesos de validación rigurosos y ramificaciones de características dedicadas, todo ello respaldado por el soporte empresarial de NVIDIA, que ofrece además acceso directo a los expertos de NVIDIA AI.
Rendimiento y escala
Mejore el coste total de la propiedad (TCO) mediante la inferencia de IA de alta capacidad de procesamiento y baja latencia que escala con la nube y logre la mejor precisión con compatibilidad para modelos ajustados con precisión listos para usar.
Portabilidad
Implemente donde quiera con microservicios prediseñados, nativos de la nube, listos para ejecutarse en cualquier infraestructura acelerada por NVIDIA (nube, centro de datos o estación de trabajo) y escale sin complicaciones en entornos de Kubernetes y de proveedor de servicios en la nube.
Demostración
Cree agentes de IA con NIM
Aprenda a configurar dos agentes de IA, uno para la generación de contenido y otro para el diseño gráfico digital, y compruebe lo fácil que resulta ponerse en marcha con los microservicios NIM.
Tecnología
Bloques de construcción para la IA de agentes
Pruebas de rendimiento
Potencie la capacidad de procesamiento con NIM
NVIDIA NIM ofrece capacidad de procesamiento y latencia optimizados preparados para maximizar la generación de tokens, admitir usuarios simultáneos en momentos pico y mejorar la capacidad de respuesta. Los microservicios NIM se actualizan continuamente con los últimos motores de inferencia optimizados y aumentan el rendimiento en la misma infraestructura con el tiempo.
Configuración: instrucción Llama 3.1 8B, 1 H100 SXM; solicitudes simultáneas: 200. NIM ACTIVADO: FP8, rendimiento 1201 tokens/s, ITL 32 ms. NIM DESACTIVADO: FP8, rendimiento de 613 tokens/seg, ITL 37 ms.
Modelos
Libere la inferencia lista para empresas para miles de modelos abiertos
Implemente LLM compatibles con NVIDIA TensorRT™-LLM, vLLM o SGLang para la inferencia de baja latencia y alto rendimiento en la infraestructura acelerada por NVIDIA.
Características
El botón fácil para el desarrollo y la implementación de IA
Al estar diseñados para ejecutarse en cualquier lugar, los microservicios NIM ponen a su disposición las API estándar del sector para simplificar la integración con los sistemas y aplicaciones empresariales y escalan de forma impecable en Kubernetes para brindar una inferencia de alta capacidad de procesamiento y baja latencia a escala de nube.
Implemente NIM
Implemente NIM para su modelo con un solo comando. También puede ejecutar NIM fácilmente con LLM compatibles con NVIDIA TensorRT-LLM, vLLM o SGLang, incluidos modelos ajustados.
Ejecute inferencia
Ponga en marcha NIM con el motor de tiempo de ejecución óptimo basado en su infraestructura acelerada por NVIDIA.
Desarrolle
Los desarrolladores pueden integrar puntos finales NIM autohospedados con tan solo unas pocas líneas de código.
Casos de uso
Cómo se está usando NIM
Compruebe cómo NVIDIA NIM resulta útil en casos de uso del sector e inicie su desarrollo de IA con ejemplos seleccionados.
-
Asistentes virtuales de IA
-
Inteligencia de documentos
-
Compras hiperpersonalizadas
-
Configuradores de producto 3D
Asistentes de IA
Mejore las experiencias de los clientes y los procesos empresariales en las telecomunicaciones con la IA generativa.
Procesamiento inteligente de documentos
Use la IA generativa para acelerar y automatizar el procesamiento de documentos.
IA para las compras hiperpersonalizadas
Ofrezca experiencias personalizadas que incrementen la satisfacción del cliente con la tecnología de la IA.
Configuradores de producto 3D
Utilice OpenUSD y la IA generativa para desarrollar e implementar herramientas y experiencias de configurador de productos 3D en prácticamente cualquier dispositivo.
Cómo empezar
Maneras de empezar a usar NVIDIA NIM
Recursos
Los últimos recursos de NVIDIA NIM
-
Blogs
-
Sesiones
-
Cursos
-
Vídeos
Próximos pasos
