Το robots.txt απαγορεύει το GPTBot
Το robots.txt σας έχει κανόνα Disallow που ταιριάζει με αυτή τη σελίδα για το token αυτού του crawler. Ο έλεγχος εφαρμόζει το RFC 9309: τη δική του ομάδα του crawler, αν έχει, αλλιώς την ομάδα *, και κερδίζει ο μακρύτερος κανόνας που ταιριάζει. Προσθέστε Allow για τον crawler ή αφαιρέστε τον κανόνα, αν θέλετε να έχει πρόσβαση.
Τι σημαίνει
Οι κανόνες του robots.txt σας εμποδίζουν το GPTBot να ανακτήσει το /.
Γιατί έχει σημασία για την αναζήτηση AI
Οι crawlers AI που συμπεριφέρονται σωστά τηρούν το robots.txt. Αν οι OAI-SearchBot, Claude-SearchBot ή PerplexityBot είναι αποκλεισμένοι, η σελίδα δεν διαβάζεται για τα ευρετήρια αναζήτησής τους και επομένως δεν μπορεί να αναφερθεί στις απαντήσεις τους. Ο αποκλεισμός tokens εκπαίδευσης όπως GPTBot, ClaudeBot, Google-Extended ή Applebot-Extended σταματά μόνο τη χρήση για εκπαίδευση μοντέλων.
Πολλοί ιστότοποι αποκλείουν τους crawlers AI κατά λάθος: ένα πρότυπο που απαγορεύει τα πάντα εκτός από το Googlebot ή μια ομάδα User-agent: * με Disallow: / που έμεινε από το περιβάλλον δοκιμών. Σημειώστε ότι το Applebot χρησιμοποιεί την ομάδα του Googlebot όταν δεν έχει δική του.
Πώς να το διορθώσετε
- Βρείτε τον κανόνα στο εύρημα: κατονομάζει το token του crawler και τη διαδρομή. Η αναφορά του AISeeWhy δείχνει τα αποδεικτικά στοιχεία και μια έτοιμη προς επικόλληση διόρθωση· έπειτα πατήστε «Έλεγχος ξανά» για να επιβεβαιώσετε το αποτέλεσμα.
- Αφαιρέστε το token του crawler από κάθε ομάδα που απαγορεύει τη σελίδα και μετά προσθέστε τη δική του ομάδα με
Allow: /. Μια συγκεκριμένη ομάδα αντικαθιστά την ομάδα*για τον συγκεκριμένο crawler, οπότε οι κανόνες υπό το*δεν ισχύουν πια για αυτόν. - Στο WordPress, ελέγξτε αν το robots.txt είναι πραγματικό αρχείο στη ρίζα του ιστότοπου ή δημιουργείται από πρόσθετο SEO όπως το Yoast ή το Rank Math, και επεξεργαστείτε το εκεί. Στο Shopify, επεξεργαστείτε το πρότυπο θέματος
robots.txt.liquid. - Στο Cloudflare, ελέγξτε αν μια διαχειριζόμενη ρύθμιση robots.txt προσθέτει κανόνες για crawlers AI πάνω από το δικό σας αρχείο.
- Κρατήστε αποκλεισμένα τα tokens εκπαίδευσης, αν αυτή είναι η πολιτική σας· δεν επηρεάζει τους crawlers αναζήτησης, που χρησιμοποιούν ξεχωριστά tokens.
Παράδειγμα
User-agent: OAI-SearchBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /Πώς επιβεβαιώνετε τη διόρθωση
Μετά την αλλαγή, πατήστε «Έλεγχος ξανά» στην αναφορά: θα δείτε τι διορθώθηκε και πώς άλλαξε η βαθμολογία.