Γεννήτρια robots.txt για crawlers AI
Επιλέξτε ποιοι crawlers AI μπορούν να διαβάζουν τον ιστότοπό σας και αντιγράψτε το robots.txt που δημιουργήθηκε. Μια συνηθισμένη επιλογή είναι ο αποκλεισμός των crawlers εκπαίδευσης AI όπως οι GPTBot και ClaudeBot, αλλά η άδεια στους crawlers αναζήτησης AI όπως οι OAI-SearchBot και PerplexityBot, ώστε οι σελίδες σας να εξακολουθούν να εμφανίζονται και να παρατίθενται στις απαντήσεις AI.
Ο αποκλεισμός των crawlers κατόπιν αιτήματος χρήστη έχει περιορισμένο αποτέλεσμα: ορισμένοι πάροχοι αναφέρουν ότι αυτοί οι πράκτορες μπορεί να μην ακολουθούν το robots.txt, επειδή ένας άνθρωπος ζήτησε τη σελίδα. Δοκιμάστε το αποτέλεσμα με τον έλεγχο robots.txt πριν το δημοσιεύσετε. Έλεγχος robots.txt για crawlers AI →
Πώς να το χρησιμοποιήσετε
Τοποθετήστε το αρχείο στη ρίζα του domain σας (https://example.com/robots.txt). Αν έχετε ήδη κανόνες για άλλους crawlers, κρατήστε τους και προσθέστε μόνο τις ομάδες AI. Οι αλλαγές ισχύουν την επόμενη φορά που κάθε crawler θα διαβάσει το αρχείο, συνήθως μέσα σε μία ημέρα.