AI Doolhof: Cloudflare’s Nieuwe Tool Misleidt AI Crawlers Met Nep Webpagina’s

Cloudflare heeft “AI Labyrinth” aangekondigd, een tool ontworpen om AI-gedreven web scrapers te bestrijden die zonder toestemming data van websites halen.

In plaats van deze bots ronduit te blokkeren, leidt AI Labyrinth ze om de tuin met een eindeloos doolhof van AI-gegenereerde pagina’s, waarbij hun tijd en rekenkracht wordt verspild.

“Wanneer we ongeautoriseerde crawling detecteren, blokkeren we het verzoek niet, maar linken we naar een reeks door AI gegenereerde pagina’s die overtuigend genoeg zijn om een crawler te verleiden ze te doorlopen,” legde Cloudflare uit in een blogpost.

“Maar hoewel het er echt uitziet, is deze inhoud niet daadwerkelijk de inhoud van de site die we beschermen, dus de crawler verspilt tijd en middelen,” voegde Cloudflare toe.

ArsTechnica merkt op dat AI-schrapers een probleem zijn omdat ze enorme hoeveelheden data van websites oogsten, vaak zonder toestemming, om AI-modellen te trainen. Dit leidt tot verschillende problemen: het kan inbreuk maken op intellectuele eigendomsrechten door controles te omzeilen die website-eigenaren gebruiken om de toegang te reguleren.

Daarnaast kan scraping leiden tot misbruik van gevoelige of bedrijfseigen data. Het volume van scraping is dramatisch toegenomen, met Cloudflare die dagelijks meer dan 50 miljard crawler verzoeken rapporteert.

Deze grootschalige gegevensextractie put de bronnen van websites uit, wat invloed heeft op de prestaties en privacy van de site, terwijl het bijdraagt aan de groeiende zorgen over data-exploitatie in de ontwikkeling van AI.

Hoewel website-eigenaren traditioneel vertrouwen op het robots.txt bestand om bots te vertellen wat ze wel en niet kunnen openen, zijn vele AI-bedrijven – waaronder grote spelers zoals Anthropic en Perplexity AI – ervan beschuldigd deze richtlijnen te negeren, zoals gemeld door The Verge.

Cloudflare’s AI Labyrinth biedt een meer agressieve aanpak om met deze ongewenste bots om te gaan. De tool functioneert als een “next-generation honeypot”, die bots dieper in een kunstmatig web van inhoud trekt dat echt lijkt, maar uiteindelijk nutteloos is voor AI-training.

In tegenstelling tot traditionele honeypots, die bots hebben geleerd te identificeren, creëert AI Labyrinth realistisch uitziende maar irrelevante informatie met behulp van Cloudflare’s Workers AI platform.

“Geen echte mens zou vier schakels diep gaan in een doolhof van AI-gegenereerde onzin,” merkte Cloudflare op. “Elke bezoeker die dat doet, is zeer waarschijnlijk een bot, dus dit geeft ons een gloednieuw hulpmiddel om slechte bots te identificeren en te herkennen.”

De AI-gegenereerde inhoud is ontworpen om wetenschappelijk feitelijk te zijn, maar niet gerelateerd aan de daadwerkelijke website die wordt beschermd.

Dit zorgt ervoor dat het hulpmiddel niet bijdraagt aan desinformatie terwijl het AI scrapers nog steeds in verwarring brengt. De misleidende pagina’s zijn onzichtbaar voor menselijke bezoekers en hebben geen invloed op de rangschikking van zoekmachines.

AI Labyrinth is beschikbaar als een gratis, optionele functie voor alle Cloudflare-gebruikers. Websitebeheerders kunnen het activeren via hun Cloudflare-dashboard onder de instellingen voor Botbeheer.

Het bedrijf beschrijft dit als slechts het begin van door AI aangedreven tegenmaatregelen, met toekomstplannen om de valse pagina’s nog misleidender te maken.

Het kat-en-muisspel tussen websites en AI scrapers gaat door, met Cloudflare die een innovatieve aanpak hanteert om online inhoud te beschermen. Er blijven echter vragen bestaan over hoe snel AI-bedrijven zich zullen aanpassen aan deze vallen en of deze strategie zou kunnen leiden tot een escalatie in de strijd om webdata.