KultureGeek Internet Cloudflare bloque par défaut le pillage des sites par les IA

Internet

Cloudflare bloque par défaut le pillage des sites par les IA

4 min.

2 Juil. 2025 • 19:20

Cloudflare franchit une étape majeure dans la protection des contenus Web en activant par défaut le blocage des crawlers d’intelligence artificielle. Cette mesure vise à empêcher l’accès non autorisé aux sites d’actualités et autres sans permission ni compensation.

Intelligence artificielle

Un système « Pay Per Crawl » pour monétiser l’accès au contenu

Une nouveauté notable réside dans le programme « Pay Per Crawl » que Cloudflare met en place. Ce système permet aux sites de fixer un prix pour que les crawlers d’IA accèdent à leurs contenus. Les entreprises d’intelligence artificielle (OpenAI, Google, Anthropic, etc) peuvent alors consulter ces tarifs et décider si elles souhaitent payer pour l’accès ou renoncer à explorer ces sites.

Pour l’instant, cette fonctionnalité reste réservée à un groupe de certains des principaux éditeurs et créateurs de contenus. Cloudflare assure que cette approche garantira que « les entreprises d’IA peuvent utiliser du contenu de qualité de la bonne manière — avec permission et compensation ».

Plusieurs grandes plateformes ont déjà rejoint cette initiative, notamment l’Associated Press, The Atlantic, Fortune, Stack Overflow et Quora. Ces partenariats reflètent l’inquiétude croissante des sites face à un avenir où les utilisateurs trouvent leurs informations via des chatbots IA plutôt que par les moteurs de recherche traditionnels, comme Google.

Une évolution progressive des mesures de protection

Cloudflare accompagne les propriétaires de domaines dans leur lutte contre les crawlers IA depuis plusieurs années déjà. En 2023, l’entreprise avait commencé à permettre le blocage des crawlers qui respectent le fichier robots.txt, cet accord non contraignant qui indique si les bots peuvent explorer un site Web.

L’année dernière, Cloudflare a étendu cette protection en permettant de bloquer tous les bots d’IA, qu’ils respectent ou non le fichier robots.txt. Cette configuration devient maintenant activée par défaut pour les nouveaux clients. L’entreprise identifie les crawlers à bloquer en les comparant à sa liste de bots d’IA connus.

En mars, Cloudflare a également déployé une fonctionnalité particulièrement créative : l’« AI Labyrinth ». Ce système dirige les bots d’exploration Web dans un labyrinthe virtuel pour les dissuader d’explorer les sites sans autorisation.

Vers une meilleure transparence des crawlers IA

Parallèlement à ces mesures restrictives, Cloudflare travaille avec les entreprises d’IA pour améliorer la transparence de leurs crawlers. L’objectif consiste à permettre aux entreprises d’intelligence artificielle de clairement indiquer leur objectif, précisant si elles utilisent le contenu pour l’entraînement, l’inférence ou la recherche.

Les propriétaires de sites Web peuvent ensuite examiner ces informations et décider quels crawlers autoriser. Cette approche équilibrée vise à concilier la protection des créateurs de contenus avec l’innovation dans le domaine de l’intelligence artificielle.

Matthew Prince, patron de Cloudflare, résume cette philosophie dans le communiqué : « Le contenu original fait d’Internet l’une des plus grandes inventions du siècle dernier et nous devons nous unir pour le protéger. Les crawlers d’IA ont exploré les contenus sans limites. Notre objectif consiste à remettre le pouvoir entre les mains des créateurs, tout en aidant les entreprises d’IA à innover ».

Signaler une erreur dans le texte

Vous utilisez Google Actualités ? Suivez KultureGeek pour ne rien rater de l'actu High-Tech !

Les sujets liés à ces tags pourraient vous interesser

2 commentaires pour cet article :

Aldebaran(via l'app )
3 Juil. 2025 • 09:55

lol en gros remettez nous un billet et c’est ok La motivation est toujours là
- Répondre
- Lehulk(via l'app )
  3 Juil. 2025 • 18:49
  
  Normal non ? Vous travaillez gratuitement ?
  - Répondre

Laisser un commentaire

Sauvegarder mon pseudo et mon adresse e-mail pour la prochaine fois.

Fils des commentaires

Quelques règles à respecter :

1. Restez dans le sujet de l'article
2. Respectez les autres lecteurs : pas de messages agressifs, vulgaires, haineux,…
3. Relisez-vous avant de soumettre un commentaire : pas de langage SMS, et vérifiez l'orthographe avant de valider (les navigateurs soulignent les fautes).
4. En cas d'erreur, faute d'orthographe, et/ou omission dans l'article , merci de nous contacter via la page Contact.

Nous nous réservons le droit de supprimer les commentaires qui ne respectent pas ces règles