2 sider afviste crawlet

Kort svar

Disse sider svarede 401, 403, 429 eller 503 eller fik timeout, da auditten hentede dem som en browser. Det er ofte en firewall, en botbeskyttelse eller en rate limit snarere end en side i stykker. Tjek, om søge- og AI-crawlere får det samme svar.

crawl.unreachable · Prioritet: P1–P3, efter crawlertype

Hvad det betyder

Disse sider svarede 401, 403, 429 eller 503 eller fik timeout. En firewall eller en hastighedsgrænse stopper måske også crawlere. Tjek, om søge- og AI-crawlere får det samme svar.

Hvorfor det har betydning for AI-søgning

Auditten henter mange sider på kort tid fra én server, så en rate limit kan svare 429 eller 503, selv om mennesker får siden. Hvis den samme regel gælder for søge- og AI-crawlere, bliver disse sider ikke hentet til deres indeks og kan ikke citeres i AI-svar.

En 401 betyder, at siden kræver login, hvilket er forventet for kontoområder, men ikke for offentligt indhold. En 503 på alle sider kan betyde, at vedligeholdelsestilstand er blevet slået til og glemt. Disse sider holdes adskilt fra døde links, fordi rettelsen afhænger af, hvem der bliver afvist.

Sådan retter du det

  1. Åbn nogle af de viste URL'er i et privat browservindue. Hvis de indlæses, er blokeringen rettet mod automatiserede forespørgsler.
  2. Find de afviste forespørgsler i logs fra din firewall, dit CDN eller din hosting. Sørg for, at verificerede søgecrawlere som Googlebot og Bingbot og de AI-søgecrawlere, du ønsker, er tilladt; mange CDN'er, heriblandt Cloudflare, har en indstilling for verificerede bots.
  3. Hvis en rate limit var årsagen, så hæv grænsen for almindelige sideforespørgsler, eller undtag HTML-sider fra den.
  4. Hvis sider svarer 401, så fjern login fra offentlige sider, eller hold op med at linke til private sider fra offentlige.
  5. Kør site-auditten igen fra din konto for at bekræfte resultatet.

Sådan bekræfter du rettelsen

Tryk på "Tjek igen" i rapporten efter ændringen: den viser, hvad der er rettet, og hvordan scoren har ændret sig.

Tjek min side →

Alle fund, og hvordan scoren virker