2 σελίδες αρνήθηκαν τη σάρωση

Σύντομη απάντηση

Αυτές οι σελίδες απάντησαν 401, 403, 429 ή 503, ή έληξε το χρονικό όριο, όταν ο έλεγχος τις ανέκτησε ως πρόγραμμα περιήγησης. Συχνά πρόκειται για τείχος προστασίας, προστασία από bots ή όριο αιτημάτων και όχι για χαλασμένη σελίδα. Ελέγξτε αν οι crawlers αναζήτησης και AI λαμβάνουν την ίδια απάντηση.

crawl.unreachable · Προτεραιότητα: P1–P3, ανάλογα με τον τύπο crawler

Τι σημαίνει

Αυτές οι σελίδες απάντησαν 401, 403, 429 ή 503 ή έληξε ο χρόνος αναμονής. Ένα τείχος προστασίας ή ένα όριο αιτημάτων ίσως σταματά και τους crawlers. Ελέγξτε αν οι crawlers αναζήτησης και AI παίρνουν την ίδια απάντηση.

Γιατί έχει σημασία για την αναζήτηση AI

Ο έλεγχος ανακτά πολλές σελίδες σε σύντομο χρόνο από έναν διακομιστή, οπότε ένα όριο αιτημάτων μπορεί να απαντήσει 429 ή 503 ακόμη κι όταν οι άνθρωποι παίρνουν τη σελίδα. Αν ο ίδιος κανόνας ισχύει για crawlers αναζήτησης και AI, αυτές οι σελίδες δεν ανακτώνται για τα ευρετήριά τους και δεν μπορούν να παρατεθούν σε απαντήσεις AI.

Ένα 401 σημαίνει ότι η σελίδα απαιτεί σύνδεση, κάτι αναμενόμενο για περιοχές λογαριασμού αλλά όχι για δημόσιο περιεχόμενο. Ένα 503 σε κάθε σελίδα μπορεί να σημαίνει ότι η λειτουργία συντήρησης έμεινε ενεργή. Αυτές οι σελίδες κρατιούνται χωριστά από τους χαλασμένους συνδέσμους, επειδή η διόρθωση εξαρτάται από το ποιος απορρίπτεται.

Πώς να το διορθώσετε

  1. Ανοίξτε μερικά από τα URL της λίστας σε ιδιωτικό παράθυρο του προγράμματος περιήγησης. Αν φορτώνουν, ο αποκλεισμός στοχεύει τα αυτοματοποιημένα αιτήματα.
  2. Αναζητήστε τα απορριφθέντα αιτήματα στα αρχεία καταγραφής του τείχους προστασίας, του CDN ή της φιλοξενίας σας. Βεβαιωθείτε ότι επιτρέπονται οι επαληθευμένοι crawlers αναζήτησης όπως το Googlebot και το Bingbot, καθώς και οι crawlers αναζήτησης AI που θέλετε· πολλά CDN, μεταξύ τους και το Cloudflare, έχουν ρύθμιση για επαληθευμένα bots.
  3. Αν η αιτία ήταν όριο αιτημάτων, αυξήστε το όριο για τα κανονικά αιτήματα σελίδων ή εξαιρέστε από αυτό τις σελίδες HTML.
  4. Αν σελίδες απαντούν 401, αφαιρέστε τη σύνδεση από τις δημόσιες σελίδες ή σταματήστε να βάζετε συνδέσμους προς ιδιωτικές σελίδες από δημόσιες.
  5. Εκτελέστε ξανά τον έλεγχο ιστότοπου από τον λογαριασμό σας για να επιβεβαιώσετε το αποτέλεσμα.

Πώς επιβεβαιώνετε τη διόρθωση

Μετά την αλλαγή, πατήστε «Έλεγχος ξανά» στην αναφορά: θα δείτε τι διορθώθηκε και πώς άλλαξε η βαθμολογία.

Έλεγχος της σελίδας μου →

Όλα τα ευρήματα και πώς λειτουργεί η βαθμολογία