Varför blockerar min webbplats plötsligt AI-crawlers?

Publicerad

Kort svar

En webbplats som börjar blockera AI-crawlers har nästan alltid ändrats på ett av fem ställen: den robots.txt som faktiskt skickas, en CDN-inställning som Cloudflares policyer för AI-crawlers, botskydd eller en hastighetsbegränsning, en standardinställning hos webbhotellet, eller en robots.txt som nu svarar med ett fel. Hämta dagens robots.txt och en sida som varje crawler, jämför med en webbläsare och med det du hade tidigare, och kontrollera lagren i den ordningen.

Ingen bestämmer sig för att försvinna ur AI-svar. Det händer som en bieffekt av en temauppdatering, en säkerhetsinställning, en migrering eller en ändrad standardinställning hos en leverantör. En webbläsare ser fortfarande webbplatsen som vanligt, så ändringen kan gå obemärkt förbi tills någon frågar ChatGPT eller Perplexity om produkten och får en konkurrent. Varje lager lämnar spår som du kan kontrollera utifrån eller i dina loggar.

På den här sidan
  1. Har den robots.txt som crawlers får ändrats?
  2. Har Cloudflares AI-crawlerpolicyer 2026 ändrat vad min webbplats tillåter?
  3. Fastnar crawlerna i botskydd eller en hastighetsbegränsning?
  4. Har mitt webbhotell ändrat sina standardinställningar?
  5. Svarar robots.txt med ett fel?
  6. Hur tar jag reda på när det började?
  7. Hur upptäcker jag det tidigare nästa gång?

Har den robots.txt som crawlers får ändrats?

Hämta https://yourdomain.com/robots.txt och jämför den med filen i ditt repo eller din säkerhetskopia. Titta på den skickade filen, inte den på disken, eftersom flera lager kan ändra den på vägen:

Robots.txt-rapporten i Google Search Console visar de versioner som Google hämtat de senaste 30 dagarna, med en ny post varje gång filen eller hämtningsresultatet ändrades. Den täcker bara det Google såg, men om inte din server varierar robots.txt efter user agent fick AI-crawlerna samma fil.

Har Cloudflares AI-crawlerpolicyer 2026 ändrat vad min webbplats tillåter?

Cloudflare har ändrat sina kontroller för AI-crawlers flera gånger, och vissa ändringar påverkar vad en zon gör utan att någon redigerar den. Den 1 juli 2025 började företaget fråga nya domäner vid registreringen om AI-crawlers skulle tillåtas, med blockering som utgångsläge. Den 1 juli 2026 ersattes det enda reglaget Block AI bots med separata policyer för Search, Agent och Training, för alla planer inklusive Free.

Den detalj som fäller flest webbplatser är crawlers med blandade syften. Cloudflares dokumentation anger att åtgärder för Training också gäller crawlers som används för både sökning och träning. Tillkännagivandet från juli 2026 sade att från den 15 september 2026 skulle crawlers med flera syften, som Googlebot, Applebot och BingBot, blockeras för kunder som valt att blockera Training, antingen via de nya alternativen eller via den äldre inställningen Block AI bots. En avregistrering från träning som gjordes för ett år sedan kan därför nu nå sökcrawlers.

Standardinställningarna för nya domäner har beskrivits olika över tid. Samma tillkännagivande sade att nya domäner skulle få Training och Agent blockerade på sidor som visar annonser från den 15 september 2026, medan policydokumentationen som uppdaterades den 2 november 2026 anger att nya domäner börjar med alla tre på Allow. Öppna Security, sedan Settings, filtrera på Bot traffic och läs AI Crawler and Agent access policies för din egen zon. Vår guide till Cloudflare AI Crawl Control förklarar varje inställning.

Fastnar crawlerna i botskydd eller en hastighetsbegränsning?

Botskydd bedömer varje begäran, och crawlers hämtar många sidor snabbt från datacenter, vilket är precis vad botar gör. En crawler som kom igenom förra månaden kan börja få utmaningssidor när operatören byter IP-intervall eller crawlhastighet, eller när skyddsreglerna uppdateras. Cloudflares Bot Fight Mode är en vanlig orsak, och Cloudflare anger att det inte kan kringgås eller hoppas över med anpassade WAF-regler eller Page Rules, så en tillåtelseregel som läggs till senare hjälper inte medan det är påslaget. En ny hastighetsbegränsning som svarar på toppar med 429 har samma effekt på en flitig crawler.

Testa utifrån: begär en sida som webbläsare och som två AI-sökcrawlers, och begär sedan robots.txt som crawler.

URL=https://example.com/page
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
          "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
          "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"; do
  curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" "$URL"
done

# robots.txt itself, as a crawler
curl -s -o /dev/null -w "%{http_code} %{content_type}\n" \
  -A "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)" \
  https://example.com/robots.txt

En 403, 429 eller 503 bara för en crawler, en sida med titeln Just a moment... eller ett svar som är mycket mindre än webbläsarens betyder att crawlern behandlas annorlunda. Testet kommer från din IP-adress, inte leverantörens, så regler som bygger på verifierad bot-status kan ändå behandla den riktiga crawlern annorlunda. Brandväggens händelselogg visar vilken regel som svarade.

Har mitt webbhotell ändrat sina standardinställningar?

Vissa webbhotell filtrerar AI-trafik på servern, innan dina egna regler körs. SiteGround skrev till exempel i augusti 2025 att det som standard blockerar AI-crawlers som är utformade för att samla in träningsdata och tillåter crawlers som kommer när en person frågar en AI-assistent om en sida. Sådana regler syns inte i din robots.txt, och de kan ändras när webbhotellet uppdaterar sina botlistor.

Om en blockering dyker upp på flera webbplatser hos samma webbhotell samtidigt, eller i svar som aldrig når dina applikationsloggar, fråga webbhotellet vilka botregler som gäller för ditt konto och om du kan undanta de crawlers du vill behålla.

Svarar robots.txt med ett fel?

En robots.txt som fallerar kan blockera mer än någon Disallow-rad. Enligt RFC 9309 betyder ett 4xx-svar att en crawler får hämta allt, men ett serverfel (5xx) eller inget svar alls betyder att den måste anta att hela webbplatsen är nekad. Google slutar crawla under de första 12 timmarna av sådana fel och använder sedan sin senaste fungerande kopia i upp till 30 dagar.

Så kan en belastningstopp, en brandväggsregel som ger /robots.txt en utmaning eller en hastighetsbegränsning som omfattar den stänga ute crawlers som följer reglerna utan att en enda regel har ändrats. Det sista kommandot i testet ovan ska returnera 200 och text/plain. En 5xx, en tidsgräns eller en utmaningssida där är det första du ska åtgärda.

Hur tar jag reda på när det började?

Ett datum förvandlar ett mysterium till en jämförelse. Filtrera begäranden från AI-crawlers user agents i dina åtkomstloggar och leta efter dagen då deras statuskoder gick från 200 till 403, 429 eller 503, eller dagen då de slutade begära sidor efter att ha läst robots.txt; vår guide om att kontrollera serverloggar efter AI-crawlers har kommandona. Begäranden som ditt CDN blockerade når aldrig ursprungsservern, så kontrollera CDN:et också. På Cloudflare visar AI Crawl Control en fördelning av statuskoder över tid som du kan filtrera per crawler.

Lägg sedan det datumet bredvid driftsättningar, uppdateringar av tillägg och teman, ändrade CDN-inställningar och tillkännagivanden från leverantörer. Bekräfta innan du gör något att käll-IP-adresserna tillhör leverantören, så att du tittar på den riktiga crawlern och inte på en bedragare som använder dess namn.

Hur upptäcker jag det tidigare nästa gång?

Kontrollera åtkomsten efter varje driftsättning, CDN-ändring och tilläggsuppdatering, inte bara när trafiken sjunker. Den kostnadsfria kontrollen i AISeeWhy hämtar en sida som 16 AI- och sökcrawlers bredvid en riktig webbläsare, tillämpar din robots.txt per crawler och känner igen brandväggens utmaningssidor. Den kostnadsfria robots.txt-kontrollen visar per crawler om en sida får hämtas enligt den fil som gäller i dag.

Gratis verktyg

Nästa steg

Crawlers i den här artikeln

Vanliga frågor

Varför har ChatGPT slutat visa min webbplats?

Ofta för att OAI-SearchBot, crawlern bakom ChatGPT-sökningen, har blivit blockerad av en ändring i robots.txt, en CDN-policy eller botskydd. OpenAI anger att webbplatser som blockerar den inte visas i svaren från ChatGPT-sökningen. Kontrollera varje lager för den crawlern, och räkna med ungefär 24 timmar efter en rättning i robots.txt, vilket enligt OpenAI är den tid dess system behöver för att anpassa sig.

Har Cloudflare börjat blockera Googlebot på min webbplats?

Det kan hända. Cloudflare sade att kunder som blockerar Training från den 15 september 2026 också blockerar crawlers med flera syften, som Googlebot, Applebot och BingBot. Dokumentationen anger att alternativet Disallow för Training blockerar träningscrawlers vid nätverkskanten men hoppar över crawlers med blandade syften, så kontrollera vilket alternativ din zon använder.

Kan en webbplatsbyggare eller ett tillägg ändra robots.txt åt mig?

Ja. Webbplatsbyggare och SEO- eller säkerhetstillägg kan skriva regler för AI-crawlers i robots.txt, och vissa utökar sina botlistor över tid. Hämta den publicerade filen efter varje uppdatering och läs grupperna som gäller för de sökcrawlers du bryr dig om.

Varför skiljer sig min publicerade robots.txt från filen på servern?

Något framför din server ändrar den. Cloudflares hanterade robots.txt lägger till exempel sina egna regler och content signals först i din fil i samma svar. Ett CMS som genererar robots.txt vid varje begäran, eller en inställning hos webbhotellet, kan också ersätta eller utöka den.

Hur lång tid tar det innan AI-crawlers kommer tillbaka efter en rättning?

RFC 9309 säger att crawlers inte bör använda en cachad robots.txt i mer än 24 timmar, OpenAI anger ungefär 24 timmar och Perplexity upp till 24 timmar. Brandväggsändringar gäller så snart din leverantör driftsätter dem, men crawlers kommer tillbaka enligt sitt eget schema.

Källor

Fler artiklar