Hvorfor blokerer mit site pludselig AI-crawlere?
Et site, der begynder at blokere AI-crawlere, har næsten altid ændret sig ét af fem steder: i den robots.txt, der faktisk leveres, i en CDN-indstilling som Cloudflares politikker for AI-crawlere, i botbeskyttelse eller en hastighedsbegrænsning, i en standardindstilling hos hostingudbyderen eller i en robots.txt, der nu svarer med en fejl. Hent dagens robots.txt og en side som hver crawler, sammenlign dem med en browser og med det, du havde før, og tjek lagene i den rækkefølge.
Ingen beslutter at forsvinde fra AI-svar. Det sker som en bivirkning af en temaopdatering, en sikkerhedsindstilling, en migrering eller en ændret standardindstilling hos en udbyder. En browser ser stadig sitet normalt, så ændringen kan gå ubemærket hen, indtil nogen spørger ChatGPT eller Perplexity om produktet og får en konkurrent. Hvert lag efterlader spor, som du kan tjekke udefra eller i dine logs.
På denne side
- Har den robots.txt, crawlerne modtager, ændret sig?
- Har Cloudflares politikker for AI-crawlere fra 2026 ændret, hvad mit site tillader?
- Fanger botbeskyttelse eller en hastighedsbegrænsning crawlerne?
- Har min hostingudbyder ændret sine standardindstillinger?
- Svarer robots.txt med en fejl?
- Hvordan finder jeg ud af, hvornår det begyndte?
- Hvordan opdager jeg det hurtigere næste gang?
Har den robots.txt, crawlerne modtager, ændret sig?
Hent https://yourdomain.com/robots.txt, og sammenlign den med filen i dit repository eller din backup. Se på den leverede fil, ikke den på disken, for flere lag kan ændre den undervejs:
- En udrulning leverer en staging-robots.txt med
Disallow: /, eller en migrering efterlader en standardfil fra platformen. - En indstilling i en sitebuilder tilføjer regler for AI-crawlere. Squarespace har for eksempel muligheden Block known artificial intelligence crawlers, som skriver 26 botnavne i robots.txt og siger, at flere kan komme til med tiden. Den er slået fra som standard, så nogen skal slå den til, men listen kan vokse bagefter.
- En opdatering af et SEO- eller sikkerhedsplugin skriver nye regler eller tilføjer en ny indstilling, som nogen slår til.
- Cloudflare sætter sin administrerede robots.txt foran din fil, når Bot Preference Sync er slået til, og en AI-politik står på Block eller Disallow. Den leverede fil starter så med
Disallow: /forClaudeBot,GPTBotog seks andre træningstokens, selv om din egen fil ikke har ændret sig. - En regel beregnet til en træningscrawler er blevet kopieret til andre, også søgecrawlere som
OAI-SearchBot,Claude-SearchBotellerPerplexityBot.
Rapporten robots.txt i Google Search Console viser de versioner, Google har hentet inden for de seneste 30 dage, med en ny post hver gang filen eller hentningsresultatet har ændret sig. Den dækker kun det, Google har set, men medmindre din server varierer robots.txt efter user agent, har AI-crawlerne fået den samme fil.
Har Cloudflares politikker for AI-crawlere fra 2026 ændret, hvad mit site tillader?
Cloudflare har ændret sine styringer af AI-crawlere flere gange, og nogle ændringer ændrer, hvad en zone gør, uden at nogen har redigeret den. Den 1. juli 2025 begyndte Cloudflare at spørge nye domæner ved tilmelding, om AI-crawlere skulle tillades, med blokering som udgangspunkt. Den 1. juli 2026 erstattede Cloudflare den ene kontakt Block AI bots med separate politikker for Search, Agent og Training, for alle planer inklusive Free.
Den detalje, de fleste sites falder over, er crawlere med blandede formål. Ifølge Cloudflares dokumentation gælder Training-handlinger også for crawlere, der bruges til både søgning og træning. Meddelelsen fra juli 2026 sagde, at multifunktionelle crawlere som Googlebot, Applebot og BingBot fra den 15. september 2026 ville blive blokeret for kunder, der havde valgt at blokere Training, enten via de nye muligheder eller den gamle indstilling Block AI bots. Et fravalg af træning, der blev sat for et år siden, kan derfor nu ramme søgecrawlere.
Standardindstillingerne for nye domæner er blevet beskrevet forskelligt over tid. Samme meddelelse sagde, at nye domæner fra den 15. september 2026 ville få Training og Agent blokeret på sider, der viser annoncer, mens politikdokumentationen, der blev opdateret den 2. november 2026, siger, at nye domæner starter med alle tre på Allow. Åbn Security, derefter Settings, filtrér efter Bot traffic, og læs AI Crawler and Agent access policies for din egen zone. Vores guide til Cloudflare AI Crawl Control forklarer hver indstilling.
Fanger botbeskyttelse eller en hastighedsbegrænsning crawlerne?
Botbeskyttelse vurderer hver anmodning, og crawlere henter mange sider hurtigt fra datacentre, hvilket er præcis det, bots gør. En crawler, der slap igennem sidste måned, kan begynde at få udfordringssider, når dens operatør ændrer IP-intervaller eller crawlhastighed, eller når beskyttelsesreglerne bliver opdateret. Cloudflares Bot Fight Mode er en almindelig årsag, og ifølge Cloudflare kan den ikke omgås eller springes over med WAF custom rules eller Page Rules, så en tilladelsesregel, der tilføjes senere, hjælper ikke, så længe den er slået til. En ny hastighedsbegrænsning, der svarer på spidsbelastninger med 429, har samme effekt på en travl crawler.
Test udefra: hent en side som browser og som to AI-søgecrawlere, og hent derefter robots.txt som crawler.
URL=https://example.com/page
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
"Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"; do
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" "$URL"
done
# robots.txt itself, as a crawler
curl -s -o /dev/null -w "%{http_code} %{content_type}\n" \
-A "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)" \
https://example.com/robots.txt En 403, 429 eller 503 kun for en crawler, en side med titlen Just a moment... eller et svar, der er meget mindre end browserens, betyder, at crawleren behandles anderledes. Testen kommer fra din IP, ikke fra udbyderens, så regler baseret på status som verificeret bot kan stadig behandle den rigtige crawler anderledes. Firewallens hændelseslog viser, hvilken regel der svarede.
Har min hostingudbyder ændret sine standardindstillinger?
Nogle hostingudbydere filtrerer AI-trafik på serveren, før dine egne regler kører. SiteGround skrev for eksempel i august 2025, at den som standard blokerer AI-crawlere, der er designet til at indsamle træningsdata, og tillader crawlere, der kommer forbi, når en person spørger en AI-assistent om en side. Den slags regler vises ikke i din robots.txt, og de kan ændre sig, når udbyderen opdaterer sine botlister.
Hvis en blokering dukker op på flere sites hos den samme udbyder på én gang, eller i svar, der aldrig når dine applikationslogs, så spørg udbyderen, hvilke botregler der gælder for din konto, og om du kan undtage de crawlere, du vil beholde.
Svarer robots.txt med en fejl?
En robots.txt, der fejler, kan blokere mere end nogen Disallow-linje. Ifølge RFC 9309 betyder et 4xx-svar, at en crawler må hente alt, men en serverfejl (5xx) eller slet intet svar betyder, at den skal gå ud fra, at hele sitet er forbudt. Google stopper crawlingen i de første 12 timer af sådanne fejl og bruger derefter sin seneste gode kopi i op til 30 dage.
Sådan kan en spidsbelastning, en firewallregel, der udfordrer /robots.txt, eller en hastighedsbegrænsning, der omfatter den, lukke velopdragne crawlere ude, uden at en eneste regel er ændret. Den sidste kommando i testen ovenfor bør returnere 200 og text/plain. En 5xx, en timeout eller en udfordringsside der er det første, du skal rette.
Hvordan finder jeg ud af, hvornår det begyndte?
En dato gør et mysterium til en sammenligning. Filtrér i dine adgangslogs anmodninger fra AI-crawleres user agents, og find den dag, hvor deres statuskoder skiftede fra 200 til 403, 429 eller 503, eller den dag, hvor de holdt op med at hente sider efter at have læst robots.txt; vores guide til at tjekke serverlogs for AI-crawlere har kommandoerne. Anmodninger, som dit CDN har blokeret, når aldrig originserveren, så tjek også CDN'et. På Cloudflare viser AI Crawl Control en fordeling af statuskoder over tid, som du kan filtrere efter crawler.
Hold så datoen op mod udrulninger, plugin- og temaopdateringer, ændringer i CDN-indstillinger og meddelelser fra udbydere. Før du handler, så bekræft, at kilde-IP'erne tilhører udbyderen, så du ser på den rigtige crawler og ikke en efterligning, der bruger dens navn.
Hvordan opdager jeg det hurtigere næste gang?
Tjek adgangen efter hver udrulning, CDN-ændring og pluginopdatering, ikke kun når trafikken falder. Det gratis AISeeWhy-tjek henter en side som 16 AI- og søgecrawlere ved siden af en rigtig browser, anvender din robots.txt pr. crawler og genkender firewallens udfordringssider. Det gratis robots.txt-tjek viser pr. crawler, om en side må hentes under den fil, der er live i dag.
Næste skridt
- robots.txt-tester og -tjek til AI-crawlere
- IP-tjek af AI-crawlere
- Se et eksempel på en fuld rapport
- Overvågning af AI-crawlere
- Planer og priser
Crawlere i denne artikel
Ofte stillede spørgsmål
Hvorfor er ChatGPT holdt op med at vise mit site?
Ofte fordi OAI-SearchBot, crawleren bag ChatGPT-søgning, er blevet blokeret af en ændring i robots.txt, en CDN-politik eller botbeskyttelse. Ifølge OpenAI vises sites, der blokerer den, ikke i svar fra ChatGPT-søgning. Tjek hvert lag for den crawler, og giv det omkring 24 timer efter en rettelse af robots.txt, hvilket ifølge OpenAI er den tid, dens systemer bruger på at tilpasse sig.
Er Cloudflare begyndt at blokere Googlebot på mit site?
Det kan ske. Cloudflare sagde, at kunder, der blokerer Training, fra den 15. september 2026 også blokerer multifunktionelle crawlere som Googlebot, Applebot og BingBot. Ifølge dokumentationen blokerer muligheden Training Disallow træningscrawlere ved edge, men udelader crawlere med blandet brug, så tjek, hvilken mulighed din zone bruger.
Kan en sitebuilder eller et plugin ændre robots.txt for mig?
Ja. Sitebuildere og SEO- eller sikkerhedsplugins kan skrive regler for AI-crawlere i robots.txt, og nogle udvider deres botlister med tiden. Hent den live fil efter hver opdatering, og læs de grupper, der gælder for de søgecrawlere, du går op i.
Hvorfor er min live robots.txt anderledes end filen på min server?
Noget foran din server ændrer den. Cloudflares administrerede robots.txt sætter for eksempel sine egne regler og content signals foran din fil i det samme svar. Et CMS, der genererer robots.txt ved hver anmodning, eller en indstilling hos hostingudbyderen kan også erstatte eller udvide den.
Hvor lang tid går der, før AI-crawlere vender tilbage, når jeg har rettet det?
Ifølge RFC 9309 bør crawlere ikke bruge en cachet robots.txt i mere end 24 timer, OpenAI siger omkring 24 timer og Perplexity op til 24 timer. Firewallændringer gælder, så snart din udbyder udruller dem, men crawlerne vender tilbage efter deres egen tidsplan.
Kilder
- RFC 9309: Robots Exclusion Protocol
- Google: How Google interprets the robots.txt specification
- Google Search Console Help: robots.txt report
- Cloudflare press release: Cloudflare just changed how AI crawlers scrape the internet-at-large
- Cloudflare blog: Your site, your rules: new AI traffic options for all customers
- Cloudflare changelog: AI traffic options (2026-07-01)
- Cloudflare: AI crawler and agent access policies
- Cloudflare: Managed robots.txt
- Cloudflare: Bot Fight Mode
- Cloudflare: Analyze AI traffic (AI Crawl Control)
- Squarespace Help: Request that AI models exclude your site
- SiteGround blog: The pros and cons of AI bot crawling
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers