robots.txt gewijzigd? Bekijk hoe elke AI-crawler het leest
Eén regel in de verkeerde groep kan ChatGPT-zoeken blokkeren terwijl je alleen AI-training wilde blokkeren. Controleer het resultaat voor 16 crawlers.
Gratis · Geen account nodig · Resultaat in 30 seconden
Welke groep geldt
Een crawler volgt de groep die hem bij naam noemt, niet de *-groep, en dat verrast veel site-eigenaren.
Zoeken versus training
Blokkeer trainingscrawlers als je wilt, en houd de crawlers die je in AI-zoekantwoorden laten verschijnen.
De precieze oplossing
De regels die je moet wijzigen, klaar om te plakken, en een nieuwe controle ter bevestiging.
Na de overstap naar Cloudflare · Na een redesign · Na de overstap naar Shopify