Cloudflare accuse Perplexity de fouiller des sites bloqués explicitement pour le scraping IA

TL;DR

• Cloudflare publie des recherches affirmant que Perplexity a parcouru et aspiré des sites ayant explicitement bloqué le scraping IA.
• L’entreprise aurait dissimulé son identité en modifiant l’agent utilisateur et l’ASN, et en imitant un navigateur générique lorsque bloquée.
• L’activité aurait concerné des dizaines de milliers de domaines et des millions de requêtes par jour; Cloudflare a radié les bots de Perplexity de sa liste vérifiée et a ajouté de nouvelles techniques de blocage.
• Perplexity a rejeté le post de Cloudflare comme un « pitch de vente », affirmant par email que aucune donnée n’a été accédée et que le bot nommé n’est pas le sien.
• L’incident s’inscrit dans un contexte de contrôle accru des crawlers IA et d’anciens reports et débats sur les droits des publishers et l’utilisation des données.

Contexte et arrière-plan

Le web repose sur des mécanismes comme robots.txt qui indiquent aux moteurs de recherche et aux crawlers ce qui peut être indexé ou aspiré. Les sites utilisent de plus en plus ces contrôles pour protéger leur contenu contre le scraping par l’IA, et les fournisseurs d’infrastructure répondent par des outils et des politiques. Cloudflare s’est positionné comme défenseur des publishers, soulignant les risques que les crawlers IA puissent contourner les signaux de blocage. Récemment, Cloudflare a renforcé sa position contre les crawlers IA en lançant un marketplace permettant aux propriétaires de sites de facturer les raspages et en proposant un outil gratuit pour prévenir le scraping destiné à l’entraînement IA. Perplexity, startup d’agrégation de données, a déjà été au centre de critiques concernant ses pratiques de scraping. Des rapports passés, notamment dans Wired, ont soulevé des questions sur l’utilisation du contenu et le plagiat potentiel, et la direction de Perplexity a été confrontée à des questions sur la définition du plagiat lors d’un événement Disrupt 2024.

Ce qu’il y a de nouveau

Cloudflare détaille dans sa publication des observations sur le comportement de Perplexity lors du crawl du web. Selon Cloudflare, Perplexity non seulement a contourné les signaux de blocage, mais a aussi cherché à dissimuler son activité sur des dizaines de milliers de domaines. Les méthodes citées incluent le changement d’agent utilisateur et la modification de l’ASN pour masquer le crawler. Lorsque bloquée, l’entreprise aurait utilisé un navigateur générique simulant Google Chrome sur macOS. Cette activité est décrite comme généralisée, s’étendant sur des dizaines de milliers de domaines et des millions de requêtes quotidiennes. Cloudflare affirme pouvoir identifier le crawler grâce à une combinaison d’apprentissage automatique et de signaux réseau, et annonce avoir radié les bots de Perplexity de sa liste vérifiée et introduit de nouvelles techniques de blocage. Perplexity a répondu en qualifiant le post de Cloudflare de « pitch de vente ». Dans des emails transmis à TechCrunch, un porte-parole a soutenu que les captures d’écran montraient qu’aucun contenu n’avait été consulté et que le bot nommé n’est pas le sien.

Pourquoi cela compte (impact pour les développeurs/entreprises)

Pour les propriétaires de sites et les éditeurs, l’épisode met en évidence la pression continue exercée par les services IA pour obtenir des données et les défis pour faire respecter les droits de contenu. Le mélange de techniques de scraping, de robots.txt et de contre-mesures illustre des tensions persistantes entre les développeurs d’IA et les créateurs de contenu sur les droits d’usage et la monétisation. Les actions de Cloudflare — radiant les bots et renforçant les blocs — montrent comment les plateformes d’infrastructure évoluent pour aider les éditeurs à protéger leur contenu. Le mouvement plus large vers un marketplace de facturation des raspages, conjugué à des outils pour prévenir le scraping destiné à l’entraînement IA, signale un basculement vers une monétisation et un contrôle accrus des accès aux données.

Détails techniques ou Mise en œuvre

Points techniques clés évoqués par Cloudflare :

• Perplexity aurait utilisé plus que l’agent utilisateur déclaré, en plus de modifier ses signaux réseau (ASN) pour masquer le crawler.
• Lorsqu’elle était bloquée, Perplexity aurait basculé sur un signal de navigateur générique imitant Google Chrome sur macOS.
• L’activité a été observée sur des dizaines de milliers de domaines, avec des millions de requêtes par jour.
• Cloudflare affirme pouvoir identifier le crawler via une combinaison d’apprentissage automatique et de signaux réseau.
• En réponse, Cloudflare a radié les bots Perplexity de sa liste vérifiée et a introduit des techniques de blocage supplémentaires.
• Cloudflare adopte une position publique contre les crawlers IA et explore des modèles économiques autour de l’accès des raspages. Tableau: métriques et techniques observées

Points-clés

• Cloudflare accuse Perplexity d’avoir contourné des blocs explicites et de camoufler son crawler.
• Perplexity nie les irrégularités, affirmant qu’aucun contenu n’a été consulté et que le bot nommé n’est pas le sien.
• L’épisode met en lumière les tensions autour des données d’IA et des droits des éditeurs, avec des acteurs d’infrastructure qui bloquent activement le scraping.
• Cloudflare continue d’étendre ses outils et politiques pour aider les éditeurs à protéger leur contenu, y compris un marketplace et des outils anti-scraping gratuits.
• Le dossier rappelle des critiques antérieures des médias et des discussions de l’industrie quant à la définition du plagiat dans les pipelines de données IA.

Références

• https://techcrunch.com/2025/08/04/perplexity-accused-of-scraping-websites-that-explicitly-blocked-ai-scraping