Amazon Lens Live IA : achats en temps réel en pointant votre caméra

TL;DR

• Lens Live permet d’acheter en pointant votre caméra, en scannant l’environnement pour faire apparaître des listes de produits correspondants en temps réel.
• Elle recourt à un modèle de détection d’objets pour identifier les articles et les comparer à des milliards de fiches du catalogue Amazon, avec des résultats présentés dans un carrousel à faire défiler.
• Des options permettent d’ajouter les articles au panier ou à la liste de souhaits, et Rufus peut résumer les descriptions et répondre aux questions.
• Lens Live est en cours de déploiement sur l’application Amazon Shopping pour iOS et arrivera à plus d’utilisateurs dans les prochaines semaines; c’est l’approche d’Amazon face aux outils de balayage en direct, avec un accent sur l’achat.

Contexte et historique

Amazon propose déjà des capacités de recherche visuelle dans l’application Shopping, notamment l’envoi d’images, le balayage de codes-barres et les recherches par photo. Lens Live étend ces fonctionnalités en autorisant la reconnaissance d’objets en temps réel dans l’environnement de l’utilisateur lorsque vous faites pivoter ou focalisez la caméra. The Verge présente Lens Live comme la réponse d’Amazon à des expériences de balayage en direct similaires à Gemini Live de Google, mais en insistant sur l’achat direct lorsque des articles sont identifiés. Le catalogue Amazon est exploité pour afficher des correspondances issues de milliards de produits.

Nouvelles fonctionnalités

Lens Live utilise un modèle de détection d’objets pour identifier les produits visibles dans le flux de la caméra en temps réel. Dès qu’un article est reconnu, Lens Live le compare au marketplace d’Amazon pour afficher des articles similaires ou correspondants. L’utilisateur voit un carrousel défilant avec des correspondances, et peut directement ajouter au panier ou à la wishlist. L’expérience peut être guidée par une exploration d’une pièce ou par la focalisation sur un produit spécifique. En plus des informations produit, Lens Live intègre Rufus, l’assistant IA d’Amazon, pour résumer les descriptions et répondre aux questions. Cette fonction s’appuie sur les capacités visuelles existantes d’Amazon, qui permettaient déjà des recherches par image, balayage de code-barres et captures photo dans l’application. Amazon indique que Lens Live est en déploiement sur iOS pour le moment et qu’un élargissement est prévu dans les semaines à venir.

Pourquoi cela compte (impact pour les développeurs/entreprises)

Lens Live illustre un flux d’achat en temps réel alimenté par l’IA au sein d’une application grand public. Pour les développeurs, c’est un exemple de comment une détection d’objets en direct peut être associée à un catalogue étendu pour proposer des correspondances exploitables directement dans l’interface. L’intégration de Rufus montre une voie pour combiner des résumés produits et des questions-réponses avec des résultats de recherche en direct, ce qui peut accélérer les parcours d’achat et réduire les lacunes d’informations au moment de la décision. Du point de vue d’entreprise, cela souligne la valeur croissante de l’IA multimodale dans le commerce de détail : perception en temps réel, comparaison avec le catalogue et actions d’achat immédiates dans une appli, avec l’appui d’un assistant IA pour les informations immédiates.

Détails techniques ou Mise en œuvre

Lens Live s’appuie sur un modèle de détection d’objets capable d’identifier les produits visibles dans le flux de la caméra en temps réel. Lorsqu’un article est reconnu, le système le compare à des milliards d’articles répertoriés sur le marketplace d’Amazon pour afficher des correspondances ou des articles similaires. Les résultats s’affichent dans un carrousel défilant, avec des actions directes pour ajouter au panier ou à la wishlist. La disponibilité actuelle est limitée à l’application Amazon Shopping sur iOS, avec une expansion prévue dans les semaines à venir. Lens Live intègre également Rufus, l’assistant IA d’Amazon, pour résumer les descriptions et répondre aux questions sur les articles identifiés. Cette intégration vise à aider les utilisateurs à comprendre rapidement les détails sans sortir du flux de balayage. L’approche s’appuie sur les capacités existantes de recherche visuelle d’Amazon, qui permettaient déjà des recherches par image, scanning de codes et requêtes photo.

Points clés

• Lens Live permet l’identification en temps réel et l’achat en pointant la caméra dans l’application Amazon Shopping (iOS, déploiement progressif).
• Il utilise un modèle de détection d’objets et compare les résultats à des milliards de fiches pour afficher des correspondances.
• Un carrousel défilant présente les articles correspondants avec des options d’ajout au panier ou à la wishlist.
• Rufus est intégré pour résumer les descriptions et répondre aux questions sur les articles.
• Le déploiement doit s’étendre dans les semaines à venir, montrant l’engagement d’Amazon envers des expériences d’achat pilotées par l’IA dans les applications.

Références

• https://www.theverge.com/news/769585/amazon-lens-live-ai-real-time-shopping