Έλεγχος robots.txt για crawlers AI

Εισαγάγετε τη διεύθυνση μιας σελίδας: διαβάζουμε το robots.txt του ιστότοπου και δείχνουμε, για κάθε crawler AI και αναζήτησης, αν μπορεί να ανακτήσει αυτή τη σελίδα. Ή επικολλήστε ένα robots.txt για να το δοκιμάσετε πριν το δημοσιεύσετε.

Το robots.txt είναι μόνο αίτημα. Ένα τείχος προστασίας ή προστασία από bots μπορεί να αποκλείσει έναν crawler που επιτρέπει το robots.txt· ο πλήρης έλεγχος το δοκιμάζει. Εκτέλεση πλήρους ελέγχου →

Πώς διαβάζουν οι crawlers AI το robots.txt

Κάθε crawler ακολουθεί την ομάδα που αναφέρει το token του (για παράδειγμα GPTBot ή PerplexityBot)· μόνο αν καμία δεν το αναφέρει, ακολουθεί το User-agent: *. Μέσα σε μια ομάδα κερδίζει ο μακρύτερος κανόνας που ταιριάζει, και σε ισοπαλία κερδίζει το Allow. Ο αποκλεισμός crawlers εκπαίδευσης όπως GPTBot, ClaudeBot ή Google-Extended κρατά το περιεχόμενό σας εκτός εκπαίδευσης μοντέλων· ο αποκλεισμός crawlers αναζήτησης και χρηστών όπως OAI-SearchBot, ChatGPT-User ή PerplexityBot κρατά τις σελίδες σας εκτός των απαντήσεων AI.