robots.txt-generator voor AI-crawlers
Kies welke AI-crawlers je site mogen lezen en kopieer de gegenereerde robots.txt. Een veelgemaakte keuze is om AI-trainingscrawlers zoals GPTBot en ClaudeBot te blokkeren, maar AI-zoekcrawlers zoals OAI-SearchBot en PerplexityBot toe te staan, zodat je pagina's nog steeds in AI-antwoorden kunnen verschijnen en worden aangehaald.
Het blokkeren van agents die pagina's ophalen op verzoek van een gebruiker heeft een beperkt effect: sommige aanbieders zeggen dat deze agents robots.txt mogelijk niet volgen, omdat een persoon om de pagina vroeg. Test het resultaat met de robots.txt-checker voordat je het publiceert. robots.txt-checker voor AI-crawlers →
Zo gebruik je het
Zet het bestand in de root van je domein (https://example.com/robots.txt). Heb je al regels voor andere crawlers, behoud die dan en voeg alleen de AI-groepen toe. Wijzigingen gaan in zodra elke crawler het bestand de volgende keer leest, meestal binnen een dag.