Sitemap nevar ielādēt (statuss 403)
Sitemap ir norādīta vai gaidīta, bet tās ielāde neizdevās ar kļūdu, 401, 403, 429 vai 5xx statusu, tāpēc arī rāpuļprogrammas, iespējams, to nevar nolasīt. Audits to ielādē kā pārlūks. Padariet sitemap URL publisku un izslēdziet to no robotu pārbaudēm un pieprasījumu ierobežojumiem.
Ko tas nozīmē
Sitemap tika atrasta, bet tā atbildēja ar statusu 403 vai neatbildēja, tāpēc arī rāpuļprogrammas, iespējams, to nevar izmantot. Pārbaudiet, vai jūsu ugunsmūris ļauj rāpuļprogrammām to ielādēt.
Kāpēc tas ir svarīgi MI meklēšanai
Sitemap, kas atgriež 403 vai servera kļūdu, ir tikpat kā trūkstoša: rāpuļprogrammas no tās nevar uzzināt par jaunām vai mainītām lapām. Bieži cēlonis ir robotu aizsardzība, jo sitemap pieprasījumi nāk gandrīz tikai no rāpuļprogrammām, kuras šie noteikumi ir veidoti apturēt.
Lielas sitemap, kas tiek ģenerētas katrā pieprasījumā, arī var sasniegt noildzi vai servera ierobežojumus, kas parādās kā 5xx statuss. Tā kā audits ielādē failu kā pārlūks, kļūme šeit parasti nozīmē, ka arī rāpuļprogrammas tiek atteiktas.
Kā to labot
- Atveriet sitemap URL no pārskata un pierakstiet statusu. AISeeWhy pārskatā redzami pierādījumi un gatavs labojums ielīmēšanai; pēc tam palaidiet “Pārbaudīt vēlreiz”, lai apstiprinātu rezultātu.
- Savā CDN vai WAF izslēdziet sitemap ceļus (piemēram,
/sitemap*.xml) no pārbaudēm, Bot Fight Mode un pieprasījumu ierobežošanas. - Ja tā ir aiz autentifikācijas testa vides tipa iestatījumos, padariet to publisku produkcijas resursdatorā.
- 5xx kļūdu gadījumā kešojiet ģenerēto sitemap vai iepriekš izveidojiet to kā statisku failu, un ļoti lielas sadaliet ar sitemap indeksu.
Kā pārliecināties, ka labojums darbojas
Pēc izmaiņām pārskatā nospiediet “Pārbaudīt vēlreiz”: tas parāda, kas novērsts un kā mainījās vērtējums.