Sitemap kan niet worden opgehaald (status 403)
Een sitemap is opgegeven of wordt verwacht, maar het ophalen mislukte met een fout, 401, 403, 429 of een 5xx-status, dus crawlers kunnen hem misschien ook niet lezen. De audit haalt hem op als browser. Maak de sitemap-URL openbaar en neem hem uit van botchallenges en rate limits.
Wat het betekent
Er is een sitemap gevonden, maar die antwoordde met status 403 of gaf geen antwoord, dus crawlers kunnen hem mogelijk ook niet gebruiken. Controleer of je firewall crawlers toestaat hem op te halen.
Waarom het ertoe doet voor AI-zoeken
Een sitemap die 403 of een serverfout teruggeeft, is zo goed als afwezig: crawlers kunnen er niets over nieuwe of gewijzigde pagina's uit leren. Botbescherming is een veelvoorkomende oorzaak, omdat verzoeken om de sitemap bijna uitsluitend van crawlers komen, die die regels juist moeten tegenhouden.
Grote sitemaps die bij elk verzoek worden gegenereerd, kunnen ook een time-out krijgen of serverlimieten raken, wat zich als 5xx-status toont. Omdat de audit het bestand als browser ophaalt, betekent een mislukking hier meestal dat crawlers ook worden geweigerd.
Zo los je het op
- Open de sitemap-URL uit het rapport en noteer de status. Het AISeeWhy-rapport toont het bewijs en een kant-en-klare oplossing om te plakken; voer daarna "Opnieuw controleren" uit om het resultaat te bevestigen.
- Neem sitemappaden (bijvoorbeeld
/sitemap*.xml) in je CDN of WAF uit van challenges, Bot Fight Mode en rate limiting. - Zit hij achter authenticatie in een opzet als staging, maak hem dan openbaar op de productiehost.
- Cache bij 5xx-fouten de gegenereerde sitemap of bouw hem vooraf als statisch bestand, en splits zeer grote met een sitemapindex.
Hoe je de oplossing bevestigt
Klik na de wijziging op "Opnieuw controleren" in het rapport: het toont wat is opgelost en hoe de score is veranderd.