2 pagina's weigerden de crawl
Deze pagina's antwoordden met 401, 403, 429 of 503, of liepen in een time-out, toen de audit ze als browser ophaalde. Vaak is dat een firewall, botbescherming of snelheidslimiet en geen kapotte pagina. Controleer of zoek- en AI-crawlers hetzelfde antwoord krijgen.
Wat het betekent
Deze pagina's antwoordden met 401, 403, 429 of 503, of gaven een time-out. Een firewall of rate limit houdt mogelijk ook crawlers tegen. Controleer of zoek- en AI-crawlers hetzelfde antwoord krijgen.
Waarom het ertoe doet voor AI-zoeken
De audit haalt in korte tijd veel pagina's op vanaf één server, dus een snelheidslimiet kan met 429 of 503 antwoorden, ook als mensen de pagina wel krijgen. Geldt dezelfde regel voor zoek- en AI-crawlers, dan worden deze pagina's niet voor hun indexen opgehaald en kunnen ze niet in AI-antwoorden worden geciteerd.
Een 401 betekent dat de pagina een login vereist, wat te verwachten is voor accountomgevingen maar niet voor openbare inhoud. Een 503 op elke pagina kan betekenen dat de onderhoudsmodus aan is blijven staan. Deze pagina's worden apart gehouden van kapotte links, omdat de oplossing afhangt van wie wordt geweigerd.
Zo los je het op
- Open een paar van de vermelde URL's in een privébrowservenster. Laden ze, dan is de blokkade gericht op geautomatiseerde verzoeken.
- Zoek de geweigerde verzoeken op in de logs van je firewall, CDN of hosting. Zorg dat geverifieerde zoekcrawlers zoals Googlebot en Bingbot, en de AI-zoekcrawlers die je wilt toelaten, zijn toegestaan; veel CDN's, waaronder Cloudflare, hebben een instelling voor geverifieerde bots.
- Was een snelheidslimiet de oorzaak, verhoog de limiet dan voor gewone paginaverzoeken of sluit HTML-pagina's ervan uit.
- Antwoorden pagina's met 401, haal de login dan weg van openbare pagina's, of link vanaf openbare pagina's niet meer naar privépagina's.
- Voer de site-audit opnieuw uit vanuit je account om het resultaat te bevestigen.
Hoe je de oplossing bevestigt
Klik na de wijziging op "Opnieuw controleren" in het rapport: het toont wat is opgelost en hoe de score is veranderd.