Hvorfor blokkerer nettstedet mitt plutselig AI-crawlere?

Publisert

Kort svar

Et nettsted som begynner å blokkere AI-crawlere, har nesten alltid endret seg på ett av fem steder: robots.txt-filen som faktisk leveres, en CDN-innstilling som Cloudflares retningslinjer for AI-crawlere, botbeskyttelse eller en rategrense, en standardinnstilling hos verten, eller en robots.txt som nå svarer med en feil. Hent dagens robots.txt og en side som hver crawler, sammenlign med en nettleser og med det du hadde før, og sjekk lagene i den rekkefølgen.

Ingen bestemmer seg for å forsvinne fra AI-svar. Det skjer som en bivirkning av en temaoppdatering, en sikkerhetsinnstilling, en migrering eller en endret standard hos en leverandør. En nettleser ser fortsatt nettstedet som normalt, så endringen kan gå ubemerket hen til noen spør ChatGPT eller Perplexity om produktet og får en konkurrent. Hvert lag etterlater spor du kan sjekke utenfra eller i loggene.

På denne siden
  1. Har robots.txt-filen crawlerne får, endret seg?
  2. Har Cloudflares retningslinjer for AI-crawlere i 2026 endret hva nettstedet mitt tillater?
  3. Fanger botbeskyttelse eller en rategrense opp crawlerne?
  4. Har vertsleverandøren min endret standardinnstillingene?
  5. Svarer robots.txt med en feil?
  6. Hvordan finner jeg ut når det startet?
  7. Hvordan oppdager jeg det raskere neste gang?

Har robots.txt-filen crawlerne får, endret seg?

Hent https://yourdomain.com/robots.txt og sammenlign den med filen i repositoriet eller sikkerhetskopien. Se på filen som leveres, ikke den på disken, fordi flere lag kan endre den underveis:

Robots.txt-rapporten i Google Search Console viser versjonene Google hentet de siste 30 dagene, med en ny oppføring hver gang filen eller henteresultatet endret seg. Den dekker bare det Google så, men med mindre serveren din varierer robots.txt etter user agent, fikk AI-crawlerne den samme filen.

Har Cloudflares retningslinjer for AI-crawlere i 2026 endret hva nettstedet mitt tillater?

Cloudflare har endret kontrollene for AI-crawlere flere ganger, og noen endringer påvirker hva en sone gjør uten at noen redigerer den. 1. juli 2025 begynte Cloudflare å spørre nye domener ved registrering om de ville tillate AI-crawlere, med blokkering som utgangspunkt. 1. juli 2026 erstattet selskapet den ene bryteren Block AI bots med separate regler for Search, Agent og Training, for alle planer inkludert Free.

Detaljen som overrasker flest, er crawlere med flere formål. Cloudflares dokumentasjon sier at handlinger for Training også gjelder crawlere som brukes til både søk og trening. Kunngjøringen fra juli 2026 sa at fra 15. september 2026 ville flerbrukscrawlere som Googlebot, Applebot og BingBot bli blokkert for kunder som valgte å blokkere Training, enten gjennom de nye valgene eller den gamle innstillingen Block AI bots. En reservasjon mot trening som ble satt for et år siden, kan dermed nå også ramme søkecrawlere.

Standardinnstillingene for nye domener har blitt beskrevet ulikt over tid. Den samme kunngjøringen sa at nye domener ville få Training og Agent blokkert på sider som viser annonser fra 15. september 2026, mens dokumentasjonen for reglene, oppdatert 2. november 2026, sier at nye domener starter med alle tre på Allow. Åpne Security og deretter Settings, filtrer på Bot traffic og les AI Crawler and Agent access policies for din egen sone. Guiden vår til Cloudflare AI Crawl Control forklarer hver innstilling.

Fanger botbeskyttelse eller en rategrense opp crawlerne?

Botbeskyttelse vurderer hver forespørsel, og crawlere henter mange sider raskt fra datasentre, som er nettopp det boter gjør. En crawler som slapp gjennom forrige måned, kan begynne å få utfordringssider etter at operatøren endrer IP-områder eller gjennomsøkingstakt, eller etter at beskyttelsesreglene oppdateres. Cloudflares Bot Fight Mode er en vanlig årsak, og Cloudflare sier at den ikke kan omgås eller hoppes over med egendefinerte WAF-regler eller Page Rules, så en tillatelsesregel lagt til senere hjelper ikke så lenge den er slått på. En ny rategrense som svarer på topper med 429, har samme effekt på en travel crawler.

Test utenfra: be om en side som nettleser og som to AI-søkecrawlere, og be deretter om robots.txt som crawler.

URL=https://example.com/page
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
          "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
          "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"; do
  curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" "$URL"
done

# robots.txt itself, as a crawler
curl -s -o /dev/null -w "%{http_code} %{content_type}\n" \
  -A "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)" \
  https://example.com/robots.txt

En 403, 429 eller 503 bare for en crawler, en side med tittelen Just a moment..., eller et svar som er mye mindre enn nettleserens, betyr at crawleren behandles annerledes. Testen kommer fra din IP, ikke leverandørens, så regler basert på status som verifisert bot kan fortsatt behandle den ekte crawleren annerledes. Hendelsesloggen i brannmuren viser hvilken regel som svarte.

Har vertsleverandøren min endret standardinnstillingene?

Noen verter filtrerer AI-trafikk på serveren, før dine egne regler kjører. SiteGround skrev for eksempel i august 2025 at selskapet som standard blokkerer AI-crawlere laget for å samle inn treningsdata, og tillater crawlere som besøker når en person spør en AI-assistent om en side. Slike regler vises ikke i robots.txt, og de kan endres når verten oppdaterer botlistene sine.

Hvis en blokkering dukker opp på flere nettsteder hos samme vert samtidig, eller i svar som aldri når applikasjonsloggene dine, spør verten hvilke botregler som gjelder for kontoen din, og om du kan unnta crawlerne du vil beholde.

Svarer robots.txt med en feil?

En robots.txt som feiler, kan blokkere mer enn noen Disallow-linje. Etter RFC 9309 betyr et 4xx-svar at en crawler kan hente alt, men en serverfeil (5xx) eller ikke noe svar i det hele tatt betyr at den må anta at hele nettstedet er forbudt. Google stopper gjennomsøkingen de første 12 timene med slike feil og bruker deretter sin siste gode kopi i opptil 30 dager.

Slik kan en lasttopp, en brannmurregel som utfordrer /robots.txt, eller en rategrense som også omfatter den, stenge ute veloppdragne crawlere uten at en eneste regel er endret. Den siste kommandoen i testen over skal returnere 200 og text/plain. En 5xx, et tidsavbrudd eller en utfordringsside der er det første du må rette.

Hvordan finner jeg ut når det startet?

En dato gjør et mysterium om til en sammenligning av før og etter. I tilgangsloggene filtrerer du forespørsler fra user agenter for AI-crawlere og ser etter dagen statuskodene gikk fra 200 til 403, 429 eller 503, eller dagen de sluttet å be om sider etter å ha lest robots.txt; guiden vår om å sjekke serverloggene for AI-crawlere har kommandoene. Forespørsler CDN-et blokkerte, når aldri opprinnelsesserveren, så sjekk CDN-et også. Hos Cloudflare viser AI Crawl Control fordelingen av statuskoder over tid, og den kan du filtrere per crawler.

Sammenlign deretter datoen med deployer, oppdateringer av utvidelser og temaer, endringer i CDN-innstillinger og kunngjøringer fra leverandører. Før du gjør noe, bekrefter du at kilde-IP-ene tilhører leverandøren, slik at du ser på den ekte crawleren og ikke en som bare låner navnet.

Hvordan oppdager jeg det raskere neste gang?

Sjekk tilgangen etter hver deploy, CDN-endring og oppdatering av utvidelser, ikke bare når trafikken faller. Den gratis AISeeWhy-sjekken henter en side som 16 AI- og søkecrawlere ved siden av en ekte nettleser, anvender robots.txt per crawler og gjenkjenner utfordringssider fra brannmurer. Den gratis robots.txt-sjekken viser for hver crawler om en side kan hentes etter filen som ligger ute i dag.

Gratis verktøy

Neste steg

Crawlere i denne artikkelen

Vanlige spørsmål

Hvorfor sluttet ChatGPT å vise nettstedet mitt?

Ofte fordi OAI-SearchBot, crawleren bak ChatGPT-søk, ble blokkert av en endring i robots.txt, en CDN-regel eller botbeskyttelse. OpenAI sier at nettsteder som blokkerer den, ikke vil vises i svar fra ChatGPT-søk. Sjekk hvert lag for den crawleren, og vent omtrent 24 timer etter en rettelse i robots.txt, som er hvor lang tid OpenAI sier systemene trenger for å tilpasse seg.

Har Cloudflare begynt å blokkere Googlebot på nettstedet mitt?

Det kan skje. Cloudflare sa at kunder som blokkerer Training, fra 15. september 2026 også blokkerer flerbrukscrawlere som Googlebot, Applebot og BingBot. Dokumentasjonen sier at valget Training Disallow blokkerer treningscrawlere på edge, men utelater crawlere med blandet bruk, så sjekk hvilket valg sonen din bruker.

Kan en nettstedsbygger eller utvidelse endre robots.txt for meg?

Ja. Nettstedsbyggere og SEO- eller sikkerhetsutvidelser kan skrive regler for AI-crawlere inn i robots.txt, og noen utvider botlistene sine over tid. Etter hver oppdatering henter du filen som ligger ute, og leser gruppene som gjelder søkecrawlerne du bryr deg om.

Hvorfor er robots.txt som ligger ute, ulik filen på serveren min?

Noe foran serveren din endrer den. Cloudflares administrerte robots.txt legger for eksempel sine egne regler og innholdssignaler foran filen din i samme svar. Et CMS som genererer robots.txt ved forespørsel, eller en innstilling hos verten, kan også erstatte eller utvide den.

Hvor lang tid tar det før AI-crawlerne kommer tilbake etter at jeg har rettet det?

RFC 9309 sier at crawlere ikke bør bruke en bufret robots.txt i mer enn 24 timer, OpenAI sier omtrent 24 timer og Perplexity opptil 24 timer. Endringer i brannmuren gjelder så snart leverandøren ruller dem ut, men crawlerne kommer tilbake etter sin egen plan.

Kilder

Flere artikler