Instacart Impulsa el Carrito de Compras Inteligente y Aumenta las Ventas con NVIDIA Jetson y la IA Física

La respuesta de Instacart es Caper Cart: un carrito de compras inteligente equipado con una pantalla táctil digital, cinco cámaras, una báscula certificada por Pesas y Medidas, sensores de ubicación y un módulo NVIDIA Jetson Orin NX. Cada carrito es una plataforma de IA móvil que procesa múltiples transmisiones de sensores simultáneamente para reconocer artículos a medida que los clientes los colocan en la cesta, realizar un seguimiento de las cantidades, detectar eliminaciones y ofrecer recomendaciones personalizadas, todo en cientos de milisegundos.

La arquitectura ejecuta dos sistemas en paralelo. En el Edge, la placa NVIDIA Jetson fusiona datos visuales desde tres ángulos de cámara orientados hacia la cesta con datos de peso y entradas de ubicación para desarrollar una imagen en tiempo real del contenido de la cesta. Dos cámaras adicionales orientadas hacia afuera dan a los estantes de las tiendas. El peso sirve como una radiografía de la cesta: incluso cuando las cámaras están bloqueadas o los artículos están apilados, la báscula captura lo que la visión por sí sola no puede. En la Cloud, los codificadores de modelos de lenguaje de visión se ejecutan de forma asincrónica para un contexto más profundo, y las dos fuentes se combinan para interpretar las acciones del usuario, la identidad de elementos y el contexto de estante.

La IA física percibe y responde dinámicamente a los entornos en tiempo real. A diferencia de los sistemas de solo cámara o de escaneo de códigos de barras que dependen de una sola señal, el enfoque de Instacart fusiona múltiples modalidades de sensores directamente en el hardware integrado en el entorno de la tienda. Es lo que permite al sistema manejar el desorden del comercio minorista real: cámaras bloqueadas, artículos apilados, señales de peso ruidosas debido a que los carritos van golpeando el suelo y decenas de miles de SKU que cambian de tienda en tienda.

Las cámaras laterales de cada carrito también resuelven el problema de ubicación. Un solo modelo sirve a todas las tiendas con un reentrenamiento mínimo específico de la tienda, que es crítico para escalar en una presencia de 100,000 tiendas. En la Cloud, las GPU NVIDIA y NVIDIA Dynamo optimizan las cargas de trabajo de clasificación de anuncios y recomendación. El resultado: millones de entradas de sensores recopiladas diariamente, alimentando un ciclo virtuoso de datos que mejora con cada viaje.

La brecha entre el lugar donde los minoristas comenzaron (navegando por sus propias tiendas sin información en tiempo real) y el lugar donde Caper Cart los ha llevado es mensurable. El carrito inteligente impulsado por IA funciona mediante recomendaciones personalizadas y sensibles a la ubicación que llegan a los clientes en el momento de la decisión.

Al incorporar señales de clasificación de la plataforma en línea de Instacart (extraídas de 1.6 mil millones de pedidos de comestibles históricos) en las recomendaciones en la tienda, Instacart midió más del 1 % de aumento de las ventas incrementales en rigurosas pruebas A/B. Un "¿Tiene todo lo que necesita?" previo al pago El prompt de compra, que combina el historial de compras, la ubicación del carrito de compra en tiempo real y los datos de mapeo de estantes en vivo para recordarles a los clientes artículos olvidados, impulsó casi un 1 % de aumento adicional. En el lado de la inferencia en la Cloud, la migración de cargas de trabajo de anuncios y recomendaciones de CPU a GPU reduce la latencia de clasificación de página completa en un 65 % y la latencia de clasificación de elementos en un 40 %, mientras que las tasas de clics (un proxy directo de los ingresos) aumentaron en más de un 5 %.

El mismo sistema de fusión de sensores también aborda la merma, detectando discrepancias de intercambios de elementos, apilamiento y múltiples elementos que pasan por alto los enfoques de solo cámara o de escaneo de códigos de barras. Mientras tanto, las cámaras laterales desarrollan continuamente un mapa de cada tienda casi en tiempo real (monitoreando las condiciones de los estantes, las ubicaciones de los artículos y las situaciones de falta de stock), lo que brinda a los minoristas una visibilidad operativa que nunca habían tenido antes.

La adopción se está acelerando. Los Carritos de Caper ahora están activos en más de 100 ciudades (en Kroger, Wegmans, Coles, Schnucks y Wakefern) con una implementación que triplica su crecimiento interanual. Lo que comenzó como una jugada de conveniencia se ha convertido en un driver de crecimiento de los ingresos, y los minoristas están escalando en consecuencia.

Las ambiciones de Instacart se extienden mucho más allá de los carritos inteligentes. La compañía está desarrollando lo que llama un modelo del mundo de comestibles: un sistema de IA fundamental que combina su gráfico de comercio (más de 1,6 mil millones de pedidos de por vida, más de 2 mil millones de instancias de productos refinadas en más de 22 millones de artículos únicos) con datos de sensores en tiempo real de los compradores de Caper Carts e Instacart que escanean los estantes. El objetivo: un sistema de aprendizaje continuo que entienda cómo los productos se relacionan entre sí, cómo los clientes toman decisiones y cómo una tienda opera física y comercialmente.

Instacart ya está extendiendo esta inteligencia en workflows basados en agentes. Un asistente de operaciones impulsado por IA permite a los gerentes de tienda consultar las condiciones de los estantes en lenguaje natural, detectando patrones de agotamiento, señalando exhibidores de bajo rendimiento y avanzando hacia la coordinación automatizada entre comerciantes. Y a medida que la red de sensores se enriquece (capturando el peso de los artículos, las representaciones 3D y la ubicación precisa de los estantes), Instacart tiene el potencial para desbloquear aplicaciones de robótica en la tienda, lo que proporciona la inteligencia espacial y de productos que los sistemas autónomos necesitan para operar.

Al fusionar la IA en el edge en la tienda física con la inteligencia a escala de la nube en línea, Instacart y NVIDIA están demostrando que la IA física no es un concepto futuro: ya está remodelando la forma en que opera el comercio minorista de comestibles, un carrito de compra a la vez.