Een constante stroom aan scraping-verzoeken van gray bots kunnen sommige applicaties tot een half miljoen verzoeken per dag laten verwerken. Dit voortdurende scrapen zet de prestaties van webapplicaties zwaar onder druk.
Onderzoekers van cyberbeveiligingsbedrijf Barracuda ontdekten dat sommige applicaties tot een half miljoen verzoeken per dag ontvangen van gray bots. Dit zijn geautomatiseerde programma’s die op zich niet schadelijk zijn, maar doordat ze dag en nacht data van websites verzamelen uiteindelijk wel schadelijk worden. Tussen december 2024 en eind februari 2025 registreerde de cyberbeveiliger miljoenen van dit soort scraping-verzoeken aan web-apps van GenAI-bots zoals ClaudeBot en TikToks Bytespider.
Een van de applicaties die hiervan het slachtoffer was kreeg in dertig dagen tijd maar liefst 9,7 miljoen verzoeken van gray bots. Een andere app werd op één dag een half miljoen keer bestookt. Een van die applicatie werd zelfs continu bestookt met rond de zeventienduizend verzoeken per uur.
Good bots en bad bots
Bots zijn softwareprogramma’s die automatisch bepaalde online taken vervullen. Volgens Barracuda heb je goede en slechte bots De goede bots zijn bijvoorbeeld SEO-crawlers en klantenservicebots. Slechte bots voeren schadelijk online taken uit als accounts hacken en persoonlijke data stelen of fraude plegen.
Daar precies tussenin zitten de gray bots. Dat zijn Generative AI scraper bots die zijn ontworpen om voortdurend grote hoeveelheden data van websites te halen. Vaak doen ze dat om generatieve AI-modellen te trainen, maar gray bots verzamelen gevoelige, bedrijfseigen of commerciële informatie, maar dat doen ze zo vaak dat het de prestaties van webapplicaties verstoort. Het beïnvloedt ook de betrouwbaarheid van webanalyses, wat weer leidt tot zwaar vertekende inzichte.
Je kunt wel scraping tegengaan met een robots.txt-bestand. Dat vraagt alle aankloppende bots geen data te verzamelen. Maar het probleem is dat je de bot expliciet moet noemen en opvolgen van die instructie is niet wettelijk af te dwingen. Veel gray bots trekken zich dus niks aan van deze instructie. Om gray bots te stoppen heb je geavanceerde bot protection-oplossingen nodig. Deze systemen blokkeren scraper-gedrag met gedragsanalyse en adaptieve machine learning.
Tip:
- Die robot… dat ben je zelf