Cloudflare franchit une étape majeure dans la protection des contenus Web en activant par défaut le blocage des crawlers d’intelligence artificielle. Cette mesure vise à empêcher l’accès non autorisé aux sites d’actualités et autres sans permission ni compensation.
Un système « Pay Per Crawl » pour monétiser l’accès au contenu
Une nouveauté notable réside dans le programme « Pay Per Crawl » que Cloudflare met en place. Ce système permet aux sites de fixer un prix pour que les crawlers d’IA accèdent à leurs contenus. Les entreprises d’intelligence artificielle (OpenAI, Google, Anthropic, etc) peuvent alors consulter ces tarifs et décider si elles souhaitent payer pour l’accès ou renoncer à explorer ces sites.
Pour l’instant, cette fonctionnalité reste réservée à un groupe de certains des principaux éditeurs et créateurs de contenus. Cloudflare assure que cette approche garantira que « les entreprises d’IA peuvent utiliser du contenu de qualité de la bonne manière — avec permission et compensation ».
Plusieurs grandes plateformes ont déjà rejoint cette initiative, notamment l’Associated Press, The Atlantic, Fortune, Stack Overflow et Quora. Ces partenariats reflètent l’inquiétude croissante des sites face à un avenir où les utilisateurs trouvent leurs informations via des chatbots IA plutôt que par les moteurs de recherche traditionnels, comme Google.
Une évolution progressive des mesures de protection
Cloudflare accompagne les propriétaires de domaines dans leur lutte contre les crawlers IA depuis plusieurs années déjà. En 2023, l’entreprise avait commencé à permettre le blocage des crawlers qui respectent le fichier robots.txt, cet accord non contraignant qui indique si les bots peuvent explorer un site Web.
L’année dernière, Cloudflare a étendu cette protection en permettant de bloquer tous les bots d’IA, qu’ils respectent ou non le fichier robots.txt. Cette configuration devient maintenant activée par défaut pour les nouveaux clients. L’entreprise identifie les crawlers à bloquer en les comparant à sa liste de bots d’IA connus.
En mars, Cloudflare a également déployé une fonctionnalité particulièrement créative : l’« AI Labyrinth ». Ce système dirige les bots d’exploration Web dans un labyrinthe virtuel pour les dissuader d’explorer les sites sans autorisation.
Vers une meilleure transparence des crawlers IA
Parallèlement à ces mesures restrictives, Cloudflare travaille avec les entreprises d’IA pour améliorer la transparence de leurs crawlers. L’objectif consiste à permettre aux entreprises d’intelligence artificielle de clairement indiquer leur objectif, précisant si elles utilisent le contenu pour l’entraînement, l’inférence ou la recherche.
Les propriétaires de sites Web peuvent ensuite examiner ces informations et décider quels crawlers autoriser. Cette approche équilibrée vise à concilier la protection des créateurs de contenus avec l’innovation dans le domaine de l’intelligence artificielle.
Matthew Prince, patron de Cloudflare, résume cette philosophie dans le communiqué : « Le contenu original fait d’Internet l’une des plus grandes inventions du siècle dernier et nous devons nous unir pour le protéger. Les crawlers d’IA ont exploré les contenus sans limites. Notre objectif consiste à remettre le pouvoir entre les mains des créateurs, tout en aidant les entreprises d’IA à innover ».
2 commentaires pour cet article :