robots.txt gewijzigd? Bekijk hoe elke AI-crawler het leest

Eén regel in de verkeerde groep kan ChatGPT-zoeken blokkeren terwijl je alleen AI-training wilde blokkeren. Controleer het resultaat voor 16 crawlers.

Gratis · Geen account nodig · Resultaat in 30 seconden

Welke groep geldt

Een crawler volgt de groep die hem bij naam noemt, niet de *-groep, en dat verrast veel site-eigenaren.

Zoeken versus training

Blokkeer trainingscrawlers als je wilt, en houd de crawlers die je in AI-zoekantwoorden laten verschijnen.

De precieze oplossing

De regels die je moet wijzigen, klaar om te plakken, en een nieuwe controle ter bevestiging.

Neem het complete pakket

Na de overstap naar Cloudflare · Na een redesign · Na de overstap naar Shopify