Waarom blokkeert mijn site ineens AI-crawlers?
Een site die AI-crawlers begint te blokkeren, is bijna altijd op een van vijf plekken veranderd: de robots.txt die werkelijk wordt geleverd, een cdn-instelling zoals het AI-crawlerbeleid van Cloudflare, botbescherming of een rate limit, een standaardinstelling van de hostingprovider, of een robots.txt die nu met een fout antwoordt. Haal de robots.txt van vandaag en een pagina op als elke crawler, vergelijk die met een browser en met wat je eerder had, en controleer die lagen in die volgorde.
Niemand besluit uit AI-antwoorden te verdwijnen. Het gebeurt als bijwerking van een thema-update, een beveiligingsinstelling, een migratie of een gewijzigde standaardinstelling bij een provider. Een browser ziet de site nog gewoon, dus de verandering kan onopgemerkt blijven tot iemand ChatGPT of Perplexity naar het product vraagt en een concurrent krijgt. Elke laag laat sporen na die je van buitenaf of in je logs kunt controleren.
Op deze pagina
- Is de robots.txt die crawlers krijgen veranderd?
- Hebben de AI-crawlerinstellingen van Cloudflare uit 2026 veranderd wat mijn site toestaat?
- Vangt botbescherming of een rate limit de crawlers af?
- Heeft mijn hostingprovider zijn standaardinstellingen veranderd?
- Antwoordt robots.txt met een fout?
- Hoe kom ik erachter wanneer het begon?
- Hoe merk ik het de volgende keer eerder?
Is de robots.txt die crawlers krijgen veranderd?
Haal https://yourdomain.com/robots.txt op en vergelijk die met het bestand in je repository of back-up. Kijk naar het geleverde bestand, niet naar dat op de schijf, want verschillende lagen kunnen het onderweg veranderen:
- Een deploy zet een staging-robots.txt met
Disallow: /live, of na een migratie blijft een standaardbestand van het platform staan. - Een instelling van een sitebouwer voegt regels voor AI-crawlers toe. Squarespace heeft bijvoorbeeld de optie Block known artificial intelligence crawlers, die 26 botnamen in robots.txt schrijft en zegt dat er na verloop van tijd meer kunnen bijkomen. Die staat standaard uit, dus iemand moet hem aanzetten, maar de lijst kan daarna groeien.
- Een update van een SEO- of beveiligingsplug-in schrijft nieuwe regels, of voegt een nieuwe optie toe die iemand aanzet.
- Cloudflare zet zijn beheerde robots.txt vóór je bestand als Bot Preference Sync aan staat en een AI-beleid op Block of Disallow staat. Het geleverde bestand begint dan met
Disallow: /voorClaudeBot,GPTBoten zes andere trainingstokens, hoewel je eigen bestand niet is veranderd. - Een regel die voor een trainingscrawler bedoeld was, is naar andere gekopieerd, ook naar zoekcrawlers zoals
OAI-SearchBot,Claude-SearchBotofPerplexityBot.
Het robots.txt-rapport in Google Search Console toont de versies die Google de afgelopen 30 dagen heeft opgehaald, met een nieuwe regel telkens wanneer het bestand of het resultaat van het ophalen veranderde. Het dekt alleen wat Google zag, maar tenzij je server robots.txt per user agent varieert, kregen AI-crawlers hetzelfde bestand.
Hebben de AI-crawlerinstellingen van Cloudflare uit 2026 veranderd wat mijn site toestaat?
Cloudflare heeft zijn instellingen voor AI-crawlers meerdere keren gewijzigd, en sommige wijzigingen veranderen wat een zone doet zonder dat iemand hem bewerkt. Op 1 juli 2025 begon het nieuwe domeinen bij de aanmelding te vragen of AI-crawlers toegelaten moesten worden, met blokkeren als beginstand. Op 1 juli 2026 verving het de ene schakelaar Block AI bots door aparte beleidsregels voor Search, Agent en Training, voor alle abonnementen inclusief Free.
Het detail waar de meeste sites over struikelen, zijn crawlers met een gemengd doel. De documentatie van Cloudflare zegt dat acties voor Training ook gelden voor crawlers die zowel voor zoeken als voor training worden gebruikt. De aankondiging van juli 2026 zei dat vanaf 15 september 2026 crawlers met meerdere doelen, zoals Googlebot, Applebot en BingBot, geblokkeerd zouden worden voor klanten die ervoor kozen Training te blokkeren, via de nieuwe opties of via de oude instelling Block AI bots. Een opt-out voor training die een jaar geleden is ingesteld, kan nu dus zoekcrawlers raken.
De standaardinstellingen voor nieuwe domeinen zijn in de loop van de tijd verschillend beschreven. Dezelfde aankondiging zei dat nieuwe domeinen vanaf 15 september 2026 Training en Agent geblokkeerd zouden hebben op pagina's met advertenties, terwijl de beleidsdocumentatie die op 2 november 2026 is bijgewerkt zegt dat nieuwe domeinen met alle drie op Allow beginnen. Open Security, dan Settings, filter op Bot traffic en lees AI Crawler and Agent access policies voor je eigen zone. Onze gids over Cloudflare AI Crawl Control legt elke instelling uit.
Vangt botbescherming of een rate limit de crawlers af?
Botbescherming beoordeelt elk verzoek, en crawlers halen snel veel pagina's op vanuit datacenters, precies wat bots doen. Een crawler die vorige maand erdoor kwam, kan challenge-pagina's gaan krijgen nadat de beheerder IP-bereiken of crawlsnelheid verandert, of nadat de beschermingsregels zijn bijgewerkt. Bot Fight Mode van Cloudflare is een veelvoorkomende oorzaak, en Cloudflare zegt dat die niet te omzeilen of over te slaan is met aangepaste WAF-regels of Page Rules, dus een later toegevoegde allow-regel helpt niet zolang hij aan staat. Een nieuwe rate limit die pieken met 429 beantwoordt, heeft hetzelfde effect op een drukke crawler.
Test van buitenaf: vraag een pagina op als browser en als twee AI-zoekcrawlers, en vraag daarna robots.txt op als crawler.
URL=https://example.com/page
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
"Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"; do
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" "$URL"
done
# robots.txt itself, as a crawler
curl -s -o /dev/null -w "%{http_code} %{content_type}\n" \
-A "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)" \
https://example.com/robots.txt Een 403, 429 of 503 alleen voor een crawler, een pagina met de titel Just a moment..., of een body die veel kleiner is dan die van de browser, betekent dat de crawler anders wordt behandeld. De test komt van jouw IP, niet van dat van de aanbieder, dus regels op basis van de status als geverifieerde bot kunnen de echte crawler nog steeds anders behandelen. Het gebeurtenissenlog van de firewall laat zien welke regel antwoordde.
Heeft mijn hostingprovider zijn standaardinstellingen veranderd?
Sommige hosts filteren AI-verkeer op de server, voordat je eigen regels draaien. SiteGround schreef bijvoorbeeld in augustus 2025 dat het standaard AI-crawlers blokkeert die zijn ontworpen om trainingsdata te verzamelen, en crawlers toelaat die langskomen als iemand een AI-assistent naar een pagina vraagt. Zulke regels zie je niet in je robots.txt, en ze kunnen veranderen als de host zijn botlijsten bijwerkt.
Verschijnt een blokkade tegelijk op meerdere sites bij dezelfde host, of in antwoorden die nooit in je applicatielogs terechtkomen, vraag de host dan welke botregels voor je account gelden en of je de crawlers die je wilt houden kunt uitzonderen.
Antwoordt robots.txt met een fout?
Een robots.txt die faalt, kan meer blokkeren dan welke Disallow-regel ook. Volgens RFC 9309 betekent een 4xx-antwoord dat een crawler alles mag ophalen, maar een serverfout (5xx) of helemaal geen antwoord betekent dat hij moet aannemen dat de hele site verboden is. Google stopt de eerste 12 uur van zulke fouten met crawlen en gebruikt daarna tot 30 dagen zijn laatste goede kopie.
Zo kunnen een piek in de belasting, een firewallregel die /robots.txt een challenge geeft, of een rate limit die het bestand meetelt, nette crawlers buitensluiten zonder dat er één regel verandert. Het laatste commando in de test hierboven moet 200 en text/plain teruggeven. Een 5xx, een time-out of een challenge-pagina daar is het eerste wat je moet oplossen.
Hoe kom ik erachter wanneer het begon?
Een datum maakt van een raadsel een diff. Filter in je toegangslogs de verzoeken van user agents van AI-crawlers en zoek de dag waarop hun statuscodes van 200 naar 403, 429 of 503 gingen, of de dag waarop ze na het lezen van robots.txt geen pagina's meer opvroegen; onze gids over het controleren van serverlogs op AI-crawlers heeft de commando's. Verzoeken die je cdn blokkeerde, bereiken de origin nooit, dus controleer ook de cdn. Bij Cloudflare toont AI Crawl Control een verdeling van statuscodes door de tijd die je per crawler kunt filteren.
Leg die datum daarna naast deploys, updates van plug-ins en thema's, wijzigingen in cdn-instellingen en aankondigingen van providers. Bevestig voordat je iets doet dat de bron-IP's van de aanbieder zijn, zodat je naar de echte crawler kijkt en niet naar een bedrieger die zijn naam gebruikt.
Hoe merk ik het de volgende keer eerder?
Controleer de toegang na elke deploy, cdn-wijziging en plug-in-update, niet alleen als het verkeer daalt. De gratis controle van AISeeWhy haalt een pagina op als 16 AI- en zoekcrawlers naast een echte browser, past je robots.txt per crawler toe en herkent challenge-pagina's van firewalls. De gratis robots.txt-checker laat per crawler zien of een pagina mag worden opgehaald volgens het bestand dat vandaag live staat.
Volgende stappen
- robots.txt tester en checker voor AI-crawlers
- IP-controle voor AI-crawlers
- Bekijk een voorbeeld van een volledig rapport
- AI-crawlermonitoring
- Abonnementen en prijzen
Crawlers in dit artikel
Veelgestelde vragen
Waarom laat ChatGPT mijn site niet meer zien?
Vaak omdat OAI-SearchBot, de crawler achter ChatGPT-zoeken, geblokkeerd raakte door een wijziging in robots.txt, een cdn-beleid of botbescherming. OpenAI zegt dat sites die hem blokkeren niet in antwoorden van ChatGPT-zoeken verschijnen. Controleer elke laag voor die crawler en reken op ongeveer 24 uur na een correctie in robots.txt; zo lang hebben de systemen van OpenAI volgens OpenAI nodig om zich aan te passen.
Is Cloudflare Googlebot op mijn site gaan blokkeren?
Dat kan. Cloudflare zei dat klanten die Training blokkeren vanaf 15 september 2026 ook crawlers met meerdere doelen blokkeren, zoals Googlebot, Applebot en BingBot. De documentatie zegt dat de optie Training Disallow trainingscrawlers aan de edge blokkeert maar crawlers met gemengd gebruik ongemoeid laat, dus controleer welke optie je zone gebruikt.
Kan een sitebouwer of plug-in robots.txt voor me wijzigen?
Ja. Sitebouwers en SEO- of beveiligingsplug-ins kunnen regels voor AI-crawlers in robots.txt schrijven, en sommige breiden hun botlijsten na verloop van tijd uit. Haal na elke update het live bestand op en lees de groepen die gelden voor de zoekcrawlers die voor jou belangrijk zijn.
Waarom verschilt mijn live robots.txt van het bestand op mijn server?
Iets vóór je server verandert het. De beheerde robots.txt van Cloudflare zet bijvoorbeeld zijn eigen regels en content signals vóór je bestand in hetzelfde antwoord. Een cms dat robots.txt op verzoek genereert, of een instelling op hostniveau, kan het ook vervangen of aanvullen.
Hoe lang duurt het voordat AI-crawlers terugkomen nadat ik het heb opgelost?
RFC 9309 zegt dat crawlers een gecachte robots.txt niet langer dan 24 uur mogen gebruiken, OpenAI noemt ongeveer 24 uur en Perplexity tot 24 uur. Firewallwijzigingen gelden zodra je provider ze uitrolt, maar crawlers komen volgens hun eigen schema terug.
Bronnen
- RFC 9309: Robots Exclusion Protocol
- Google: How Google interprets the robots.txt specification
- Google Search Console Help: robots.txt report
- Cloudflare press release: Cloudflare just changed how AI crawlers scrape the internet-at-large
- Cloudflare blog: Your site, your rules: new AI traffic options for all customers
- Cloudflare changelog: AI traffic options (2026-07-01)
- Cloudflare: AI crawler and agent access policies
- Cloudflare: Managed robots.txt
- Cloudflare: Bot Fight Mode
- Cloudflare: Analyze AI traffic (AI Crawl Control)
- Squarespace Help: Request that AI models exclude your site
- SiteGround blog: The pros and cons of AI bot crawling
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers