Δεν είναι δυνατή η λήψη του sitemap (κατάσταση 403)
Ένα sitemap δηλώνεται ή αναμένεται, αλλά η ανάγνωσή του απέτυχε με σφάλμα, 401, 403, 429 ή κατάσταση 5xx, οπότε ίσως δεν μπορούν να το διαβάσουν ούτε οι crawlers. Ο έλεγχος το διαβάζει ως browser. Κάντε το URL του sitemap δημόσιο και εξαιρέστε το από τις προκλήσεις bots και τα όρια ρυθμού.
Τι σημαίνει
Βρέθηκε ένα sitemap, αλλά απάντησε με κατάσταση 403 ή δεν απάντησε καθόλου, επομένως ίσως δεν μπορούν να το χρησιμοποιήσουν ούτε τα crawlers. Ελέγξτε ότι το firewall σας επιτρέπει στα crawlers να το ανακτούν.
Γιατί έχει σημασία για την αναζήτηση AI
Ένα sitemap που επιστρέφει 403 ή σφάλμα διακομιστή είναι σαν να λείπει: οι crawlers δεν μπορούν να μάθουν από αυτό για νέες ή αλλαγμένες σελίδες. Η προστασία bots είναι συχνή αιτία, επειδή τα αιτήματα για sitemap προέρχονται σχεδόν αποκλειστικά από crawlers, τους οποίους αυτοί οι κανόνες έχουν φτιαχτεί να σταματούν.
Τα μεγάλα sitemaps που δημιουργούνται σε κάθε αίτημα μπορεί επίσης να λήξουν ή να φτάσουν τα όρια του διακομιστή, κάτι που εμφανίζεται ως κατάσταση 5xx. Επειδή ο έλεγχος διαβάζει το αρχείο ως browser, μια αποτυχία εδώ συνήθως σημαίνει ότι απορρίπτονται και οι crawlers.
Πώς να το διορθώσετε
- Ανοίξτε το URL του sitemap από την αναφορά και σημειώστε την κατάσταση. Η αναφορά του AISeeWhy δείχνει τα αποδεικτικά στοιχεία και μια έτοιμη προς επικόλληση διόρθωση· έπειτα πατήστε «Έλεγχος ξανά» για να επιβεβαιώσετε το αποτέλεσμα.
- Στο CDN ή το WAF σας, εξαιρέστε τις διαδρομές του sitemap (για παράδειγμα
/sitemap*.xml) από τις προκλήσεις, το Bot Fight Mode και τον περιορισμό ρυθμού. - Αν βρίσκεται πίσω από ταυτοποίηση σε ρύθμιση τύπου περιβάλλοντος δοκιμών, κάντε το δημόσιο στον host παραγωγής.
- Για σφάλματα 5xx, αποθηκεύστε στην προσωρινή μνήμη το sitemap που δημιουργείται ή προδημιουργήστε το ως στατικό αρχείο και χωρίστε τα πολύ μεγάλα με ένα ευρετήριο sitemap.
Πώς επιβεβαιώνετε τη διόρθωση
Μετά την αλλαγή, πατήστε «Έλεγχος ξανά» στην αναφορά: θα δείτε τι διορθώθηκε και πώς άλλαξε η βαθμολογία.