robots.txt verbiedt GPTBot
Je robots.txt heeft een Disallow-regel die voor het token van deze crawler op deze pagina past. De audit past RFC 9309 toe: de eigen groep van de crawler als die er is, anders de groep *, en de langste passende regel wint. Voeg een Allow voor de crawler toe of verwijder de regel als je hem erbij wilt hebben.
Wat het betekent
Je robots.txt-regels verhinderen dat GPTBot / ophaalt.
Waarom het ertoe doet voor AI-zoeken
Nette AI-crawlers houden zich aan robots.txt. Als OAI-SearchBot, Claude-SearchBot of PerplexityBot zijn uitgesloten, wordt de pagina niet opgehaald voor hun zoekindexen en kan ze niet in hun antwoorden worden aangehaald. Trainingstokens zoals GPTBot, ClaudeBot, Google-Extended of Applebot-Extended uitsluiten stopt alleen het gebruik voor modeltraining.
Veel sites blokkeren AI-crawlers per ongeluk: een sjabloon dat alles verbiedt behalve Googlebot, of een groep User-agent: * met Disallow: / die nog van staging over is. Let op dat Applebot de Googlebot-groep gebruikt als hij geen eigen groep heeft.
Zo los je het op
- Zoek de regel in de bevinding: die noemt het token van de crawler en het pad. Het AISeeWhy-rapport toont het bewijs en een kant-en-klare oplossing om te plakken; voer daarna "Opnieuw controleren" uit om het resultaat te bevestigen.
- Haal het token van de crawler uit elke groep die de pagina verbiedt en voeg dan een eigen groep voor de crawler toe met
Allow: /. Een specifieke groep vervangt voor die crawler de groep*, dus de regels onder*gelden niet meer voor hem. - Controleer in WordPress of robots.txt een echt bestand in de webroot is of door een SEO-plugin zoals Yoast of Rank Math wordt gegenereerd, en pas hem daar aan. Bewerk in Shopify het themasjabloon
robots.txt.liquid. - Controleer in Cloudflare of een beheerde robots.txt-instelling AI-crawlerregels bovenop je eigen bestand toevoegt.
- Laat trainingstokens uitgesloten als dat je beleid is; dat raakt zoekcrawlers met aparte tokens niet.
Voorbeeld
User-agent: OAI-SearchBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /Hoe je de oplossing bevestigt
Klik na de wijziging op "Opnieuw controleren" in het rapport: het toont wat is opgelost en hoe de score is veranderd.