Instacart Impulsiona o Carrinho de Compras Inteligente e Impulsiona as Vendas com o NVIDIA Jetson e a IA Física

A resposta da Instacart é o Caper Cart, um carrinho de compras inteligente equipado com uma tela sensível ao toque digital, cinco câmeras, uma balança certificada por Weights and Measures, sensores de localização e um módulo NX NVIDIA Jetson Orin. Todo carrinho de compras é uma plataforma de IA móvel que processa vários fluxos de sensores simultaneamente para reconhecer itens à medida que os clientes os colocam no carrinho, rastrear quantidades, detectar remoções e oferecer recomendações personalizadas — tudo em centenas de milissegundos.

A arquitetura executa dois sistemas em paralelo. Na borda, a placa NVIDIA Jetson combina dados visuais de três ângulos de câmera voltados para a cesta de compras com dados de peso e entradas de localização para criar uma imagem em tempo real do conteúdo da cesta. Duas câmeras adicionais voltadas para o exterior ficam de frente para as prateleiras das lojas. O peso serve como uma radiografia da cesta: mesmo quando as câmeras são bloqueadas ou os itens são empilhados, a balança captura o que a visão sozinha não consegue. Na nuvem, os codificadores de modelos de linguagem de visão são executados de forma assíncrona para um contexto mais profundo, e os dois feeds se combinam para interpretar as ações do usuário, a identidade do item e o contexto da prateleira.

A IA física percebe e responde dinamicamente aos ambientes em tempo real. Ao contrário dos sistemas apenas baseados em câmeras ou escaneamento de código de barras que dependem de um único sinal, a abordagem da Instacart combina várias modalidades de sensores diretamente no hardware incorporado no ambiente da loja. É o que permite que o sistema lide com a bagunça do varejo real: câmeras bloqueadas, itens empilhados, sinais de peso ruidosos de carrinhos batendo pelo chão e dezenas de milhares de SKUs que mudam de loja para loja.

As câmeras laterais em cada carrinho também resolvem o problema de localização. Um único modelo atende a todas as lojas com um retreinamento mínimo específico para cada loja, o que é fundamental para escalar em uma área de 100 mil lojas. No lado da nuvem, as GPUs NVIDIA e o NVIDIA Dynamo otimizam as cargas de trabalho de classificação de anúncios e recomendação. O resultado: milhões de entradas de sensores coletadas diariamente, alimentando um ciclo virtuoso de dados que melhora a cada viagem.

A lacuna entre onde os varejistas começaram — navegando em suas próprias lojas sem visão em tempo real — e onde o Caper Cart os levou é mensurável. O carrinho inteligente com tecnologia de IA é impulsionado por recomendações personalizadas e sensíveis à localização que alcançam os clientes no momento da decisão.

Ao incorporar sinais de classificação da plataforma on-line da Instacart — extraídos de 1,6 bilhão de pedidos totais em supermercados — em recomendações feitas nas lojas, a Instacart mediu um aumento de vendas incremental de mais de 1% em testes A/B rigorosos. Um aviso de pré-checkout, o prompt: “Tem tudo o que precisa?”, que combina histórico de compras, localização do carrinho em tempo real e dados de mapeamento de prateleira em tempo real para lembrar os clientes de itens esquecidos, impulsionou quase 1% de aumento adicional. No lado da inferência de nuvem, a migração de cargas de trabalho de anúncios e recomendações da CPU para a GPU reduziu a latência de classificação de páginas inteiras em 65% e a latência de classificação de itens em 40%, enquanto as taxas de cliques — um proxy direto para receita — aumentaram em mais de 5%.

O mesmo sistema de fusão de sensores também aborda a perda de inventário, detectando discrepâncias de troca de itens, empilhamento e vários itens que as abordagens apenas baseadas em câmeras ou leitura de código de barras não conseguem. Enquanto isso, as câmeras laterais criam continuamente um mapa quase em tempo real de cada loja — rastreando as condições das prateleiras, locais de itens e situações de esgotamento de estoque — oferecendo aos varejistas uma visibilidade operacional que nunca tiveram antes.

A adoção está em aceleração. Os Caper Carts agora estão ativos em mais de 100 cidades — em Kroger, Wegmans, Coles, Schnucks e Wakefern — com a implantação triplicando ano após ano. O que começou como uma jogada de conveniência se tornou um driver de crescimento de receita, e os varejistas estão escalando de acordo.

As ambições da Instacart se estendem muito além dos carrinhos inteligentes. A empresa está em fase de construção do que chama de modelo do mundo das compras de supermercado — um sistema de IA fundamental que combina seu gráfico de comércio (mais de 1,6 bilhão de pedidos realizados, com mais de 2 bilhões de instâncias de produtos refinadas em mais de 22 milhões de itens exclusivos) com dados de sensores em tempo real capturados pelos Caper Carts e por compradores da Instacart ao escanearem as prateleiras. O objetivo: um sistema de aprendizagem contínua que entenda como os produtos se relacionam uns aos outros, como os clientes tomam decisões e como uma loja opera física e comercialmente.

A Instacart já está estendendo essa inteligência em workflows baseados em agentes. Um assistente de operações com tecnologia de IA permite que os gerentes de lojas consultem as condições das prateleiras em linguagem natural — destacando padrões fora de estoque, sinalizando expositores com desempenho insatisfatório e avançando em direção à coordenação automatizada de comerciantes. E, à medida que a rede de sensores fica mais rica — capturando peso de itens, representações 3D e localização precisa das prateleiras —, a Instacart vê potencial para desbloquear aplicações de robótica na loja, fornecendo a inteligência espacial e de produto que os sistemas autônomos precisam para operar.

Ao combinar a IA de borda na loja física com a inteligência on-line em escala de nuvem, a Instacart e a NVIDIA estão provando que a IA física não é um conceito futuro — ela já está remodelando a forma como o varejo de supermercados opera, um carrinho de cada vez.