Amazon Lens Live AI: Compras em tempo real apontando a câmera

TL;DR

• A Lens Live permite comprar apontando a câmera, varrendo o ambiente para apresentar listas de produtos correspondentes em tempo real.
• Ela usa um modelo de detecção de objetos para identificar itens e compará-los com bilhões de listagens da Amazon, apresentando os resultados em um carrossel deslizável.
• As opções permitem adicionar itens ao carrinho ou à lista de desejos e integra o Rufus para resumir descrições e responder perguntas.
• O Lens Live está sendo lançado no aplicativo Amazon Shopping para iOS e deve chegar a mais usuários nas próximas semanas; é a abordagem da Amazon para ferramentas de varredura ao vivo, com ênfase na compra.

Contexto e antecedentes

A Amazon já oferece capacidades de busca visual no aplicativo Shopping, incluindo envio de imagens, varredura de códigos de barras e consultas por foto. O Lens Live amplia essas funcionalidades ao permitir reconhecimento de objetos em tempo real no ambiente do usuário enquanto você move a câmera ou foca em um item específico. A imprensa descreve o Lens Live como a resposta da Amazon a experiências de varredura ao vivo semelhantes ao Gemini Live do Google, com a diferença de enfatizar fortemente a compra direta quando itens são identificados. A experiência utiliza o catálogo vasto da Amazon, com a intenção de exibir correspondências de bilhões de itens da plataforma.

O que há de novo

O Lens Live usa um modelo de detecção de objetos para identificar produtos mostrados no feed da câmera em tempo real. Quando um item é reconhecido, o Lens Live o compara com o marketplace da Amazon para exibir itens similares ou correspondentes. O usuário vê um carrossel deslizável com correspondências, com ações diretas para adicionar ao carrinho ou à lista de desejos. A experiência pode ser guiada por varredura de uma sala ou foco em um produto específico. Além das informações do produto, o Lens Live integra o Rufus, assistente de IA da Amazon, para resumir descrições e responder perguntas sobre os itens. Essa funcionalidade complementa as capacidades visuais existentes da Amazon, que já permitiam buscas por imagem, leitura de código de barras e captura de foto dentro do app. A empresa afirma que o Lens Live está sendo lançado para iOS no momento, com planos de ampliar o acesso nos próximos meses.

Por que isso importa (impacto para desenvolvedores/empresas)

O Lens Live demonstra um fluxo de compras com IA em tempo real dentro de um aplicativo consumidor, mostrando como reconhecimento de objetos ao vivo pode ser combinado com um catálogo amplo para oferecer correspondências acionáveis. Para desenvolvedores, é um exemplo de como criar experiências de compra assistidas por IA no aplicativo. A integração com o Rufus aponta para caminhos de combinar resumos de produtos e perguntas e respostas com resultados de busca ao vivo, potencialmente acelerando jornadas de compra e reduzindo lacunas de informação no momento da decisão. De uma perspectiva corporativa, isso ilustra o valor crescente de IA multimodal no varejo: percepção em tempo real, comparação com o catálogo e ações de compra imediatas dentro de um app, com suporte de um assistente IA para informações rápidas.

Detalhes técnicos ou Implementação

O Lens Live depende de um modelo de detecção de objetos capaz de identificar produtos mostrados no feed da câmera em tempo real. Assim que um item é reconhecido, o sistema o compara com bilhões de itens cadastrados no marketplace da Amazon para apresentar correspondências ou itens similares. Os resultados aparecem em um carrossel deslizável, com ações diretas para adicionar ao carrinho ou à lista de desejos. O recurso está atualmente sendo lançado para o aplicativo Amazon Shopping no iOS e deve alcançar mais usuários nas próximas semanas. O Lens Live também integra o Rufus, o assistente de IA da Amazon, para resumir descrições de produtos e responder perguntas sobre itens identificados. Essa integração busca facilitar a compreensão rápida de detalhes do produto sem deixar o fluxo de varredura. A abordagem se apoia nas capacidades existentes de busca visual da Amazon, que já suportavam envio de imagens, varredura de códigos de barras e consultas por fotos.

Principais conclusões

• Lens Live permite identificar itens em tempo real e comprar apontando a câmera no aplicativo Amazon Shopping (iOS, rollout progressivo).
• Usa um modelo de detecção de objetos e compara resultados com bilhões de listagens para apresentar correspondências.
• Um carrossel deslizável mostra itens correspondentes com opções diretas de adicionar ao carrinho ou à lista de desejos.
• O Rufus está integrado para resumir descrições e responder perguntas sobre itens identificados.
• O lançamento deve se expandir nas próximas semanas, sinalizando o contínuo interesse da Amazon em experiências de compra com IA dentro de apps.

Referências

• https://www.theverge.com/news/769585/amazon-lens-live-ai-real-time-shopping