Overgestapt op Cloudflare? Controleer of AI-crawlers nog binnenkomen
Botbescherming, "Block AI bots" en WAF-regels staan in veel Cloudflare-configuraties standaard aan. Ze kunnen AI-zoekcrawlers weghouden zonder dat je aan jouw kant een fout ziet.
Gratis · Geen account nodig · Resultaat in 30 seconden
Wat ze blokkeert
Bot Fight Mode, blokkering van AI-bots, beheerde uitdagingen en eigen WAF-regels die passen op de user agent of het netwerk van een crawler.
Wat we controleren
Je pagina's opgehaald als 16 AI- en zoekmachinecrawlers naast een gewone browser, met de statuscode en de Cloudflare-header die een blokkade laat zien.
Houd het onder controle
Regels veranderen. Monitoring controleert je belangrijkste pagina's opnieuw en mailt je wanneer een crawler weer buitengesloten wordt.
Na een redesign · Na de overstap naar Shopify · Na een wijziging in robots.txt