GPTBot
Το GPTBot είναι ο crawler της OpenAI για περιεχόμενο που μπορεί να χρησιμοποιηθεί για την εκπαίδευση των γενετικών θεμελιωδών μοντέλων AI της. Αν το απαγορεύσετε στο robots.txt, ενημερώνετε την OpenAI ότι το περιεχόμενό σας δεν πρέπει να χρησιμοποιηθεί για εκπαίδευση. Το μπλοκάρισμα δεν σας αφαιρεί από τις απαντήσεις της αναζήτησης του ChatGPT, οι οποίες εξαρτώνται από το OAI-SearchBot.
Τι κάνει
Σύμφωνα με την OpenAI, το GPTBot χρησιμοποιείται για να γίνουν τα γενετικά θεμελιώδη μοντέλα AI της πιο χρήσιμα και ασφαλή. Συλλέγει περιεχόμενο που μπορεί να χρησιμοποιηθεί στην εκπαίδευση αυτών των μοντέλων, και η απαγόρευση του GPTBot δηλώνει ότι το περιεχόμενο ενός ιστότοπου δεν πρέπει να χρησιμοποιείται για εκπαίδευση.
Το αν θα το επιτρέψετε είναι θέμα πολιτικής και όχι ορατότητας. Η αναζήτηση του ChatGPT χρησιμοποιεί ξεχωριστό crawler, το OAI-SearchBot, και η OpenAI τεκμηριώνει τις δύο ρυθμίσεις ως ανεξάρτητες. Όταν επιτρέπονται και τα δύο, η OpenAI λέει ότι μπορεί να χρησιμοποιήσει τα αποτελέσματα μίας ανίχνευσης και για τους δύο σκοπούς, ώστε να μην ανιχνεύει δύο φορές.
Στη μελέτη μας για τον 2026-11, το 21.4% των δημοφιλών ιστότοπων με robots.txt το μπλόκαρε. →
Token robots.txt
GPTBot
Συμβολοσειρά user agent
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbotΠώς να το επιτρέψετε
User-agent: GPTBot
Allow: /Πώς να το μπλοκάρετε
User-agent: GPTBot
Disallow: /Πώς να επαληθεύσετε τις πραγματικές επισκέψεις
Η OpenAI δημοσιεύει σε αρχείο JSON τα εύρη IP που χρησιμοποιεί αυτός ο agent. Συγκρίνετε την IP προέλευσης του αιτήματος με αυτά τα εύρη· ένα αίτημα που δηλώνει GPTBot αλλά προέρχεται από άλλη διεύθυνση δεν προέρχεται από την OpenAI. Η OpenAI σημειώνει ότι ο αριθμός έκδοσης στο user agent μπορεί να αλλάξει, γι' αυτό ταιριάξτε το token GPTBot και όχι ολόκληρη τη συμβολοσειρά.
Ελέγξτε αν ο ιστότοπός σας το αφήνει να μπει →
Οι crawlers της OpenAI: GPTBot, OAI-SearchBot και ChatGPT-User →