Οι crawlers της OpenAI: GPTBot, OAI-SearchBot και ChatGPT-User
Η OpenAI χρησιμοποιεί τον GPTBot για περιεχόμενο που μπορεί να εκπαιδεύσει τα μοντέλα της, τον OAI-SearchBot για ευρετηρίαση στην αναζήτηση του ChatGPT και τον ChatGPT-User για επισκέψεις που ζητά ο χρήστης. Ο αποκλεισμός του GPTBot σας εξαιρεί μόνο από την εκπαίδευση. Ο αποκλεισμός του OAI-SearchBot σας αφαιρεί από τις απαντήσεις αναζήτησης του ChatGPT. Το robots.txt μπορεί να μην ισχύει για τον ChatGPT-User.
Τρία διαφορετικά user agents από μία εταιρεία, το καθένα με δικό του token στο robots.txt, προκαλούν μεγάλη σύγχυση. Πολλοί ιστότοποι αποκλείστηκαν από τον GPTBot όταν εμφανίστηκε και μερικοί ανακάλυψαν αργότερα ότι είχαν αποκλείσει και τον crawler που αποφασίζει αν το ChatGPT μπορεί να τους παραθέσει, συχνά μέσω ενός ευρύ κανόνα firewall. Το άρθρο εξετάζει κάθε agent με βάση την τεκμηρίωση της ίδιας της OpenAI.
Σε αυτή τη σελίδα
Τι κάνει ο GPTBot;
Ο GPTBot σαρώνει περιεχόμενο που μπορεί να χρησιμοποιηθεί για την εκπαίδευση των θεμελιωδών μοντέλων γενετικής AI της OpenAI. Η τεκμηρίωση της OpenAI αναφέρει ότι η απαγόρευση του GPTBot δηλώνει πως το περιεχόμενο ενός ιστότοπου δεν πρέπει να χρησιμοποιείται για την εκπαίδευση αυτών των μοντέλων.
Το user agent του περιέχει το token GPTBot, για παράδειγμα Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot. Η OpenAI σημειώνει ότι ο αριθμός έκδοσης μπορεί να αλλάξει, γι' αυτό ταιριάξτε με το token και όχι με ολόκληρη τη συμβολοσειρά. Η OpenAI δημοσιεύει τα εύρη IP της στο openai.com/gptbot.json.
Το αν θα τον επιτρέψετε είναι θέμα πολιτικής. Ορισμένοι εκδότες θέλουν το περιεχόμενό τους στα δεδομένα εκπαίδευσης, άλλοι όχι. Ο αποκλεισμός του δεν επηρεάζει την αναζήτηση του ChatGPT, γιατί αυτή γίνεται από διαφορετικό crawler. Αν αλλάξετε γνώμη αργότερα, αρκεί να αφαιρέσετε τη γραμμή Disallow· δεν χρειάζεται καμία εγγραφή ή αίτημα.
Τι κάνει ο OAI-SearchBot;
Ο OAI-SearchBot είναι ο crawler αναζήτησης της OpenAI. Εμφανίζει ιστότοπους στις λειτουργίες αναζήτησης του ChatGPT. Η OpenAI δηλώνει ξεκάθαρα ότι οι ιστότοποι που έχουν εξαιρεθεί από τον OAI-SearchBot δεν θα εμφανίζονται στις απαντήσεις αναζήτησης του ChatGPT.
Αν θέλετε το ChatGPT να παραθέτει τις σελίδες σας, αυτόν τον crawler πρέπει να επιτρέψετε, τόσο στο robots.txt όσο και στο firewall. Τα εύρη IP του δημοσιεύονται στο openai.com/searchbot.json, ώστε ένα firewall να μπορεί να επαληθεύσει ότι ένα αίτημα προέρχεται πράγματι από την OpenAI.
Τι κάνει ο ChatGPT-User;
Ο ChatGPT-User δεν είναι crawler με την συνηθισμένη έννοια. Ανακτά μια σελίδα όταν τη ζητά ένας χρήστης του ChatGPT ή ένα Custom GPT, για παράδειγμα όταν κάποιος επικολλά το URL σας σε μια συνομιλία και ζητά περίληψη. Η OpenAI αναφέρει ότι δεν χρησιμοποιείται για αυτόματη σάρωση του διαδικτύου.
Δύο λεπτομέρειες από την τεκμηρίωση της OpenAI έχουν σημασία εδώ. Πρώτον, επειδή αυτές οι ενέργειες ξεκινούν από χρήστη, οι κανόνες του robots.txt μπορεί να μην ισχύουν. Δεύτερον, ο ChatGPT-User δεν χρησιμοποιείται για να καθοριστεί αν ένα περιεχόμενο μπορεί να εμφανιστεί στην αναζήτηση. Για την αναζήτηση μετράει η ρύθμιση του OAI-SearchBot.
Τι συμβαίνει όταν αποκλείω τον καθένα;
- Αποκλεισμός του
GPTBot: το περιεχόμενό σας επισημαίνεται ότι δεν πρέπει να χρησιμοποιηθεί για εκπαίδευση. Η αναζήτηση του ChatGPT μπορεί να σας εμφανίζει και να σας παραθέτει, αν οOAI-SearchBotεπιτρέπεται. - Αποκλεισμός του
OAI-SearchBot: οι σελίδες σας δεν θα εμφανίζονται στις απαντήσεις αναζήτησης του ChatGPT. Η εκπαίδευση ελέγχεται χωριστά από τονGPTBot. - Αποκλεισμός του
ChatGPT-Userστο robots.txt: η OpenAI αναφέρει ότι το robots.txt μπορεί να μην ισχύει για αυτές τις επισκέψεις, άρα το αποτέλεσμα δεν είναι εγγυημένο. Αν τον αποκλείσετε στο firewall, η ανάκτηση σταματά και οι χρήστες που επικολλούν τον σύνδεσμό σας λαμβάνουν σφάλμα αντί για το περιεχόμενό σας. - Αποκλεισμός και των τριών στο firewall: το ChatGPT δεν μπορεί ούτε να ευρετηριάσει ούτε να ανακτήσει τις σελίδες σας, άρα δεν έχει τίποτα δικό σας να παραθέσει.
- Επιτρέπετε και τους τρεις: οι σελίδες σας μπορούν να ευρετηριαστούν για αναζήτηση, να ανακτηθούν κατόπιν αιτήματος και, μέσω του
GPTBot, να χρησιμοποιηθούν για εκπαίδευση.
Η OpenAI σημειώνει επίσης ότι, όταν επιτρέπονται και ο GPTBot και ο OAI-SearchBot, μπορεί να χρησιμοποιήσει τα αποτελέσματα μιας σάρωσης και για τους δύο σκοπούς, ώστε να αποφύγει τη διπλή σάρωση.
Ποιο robots.txt να χρησιμοποιήσω για τους crawlers της OpenAI;
Για τους περισσότερους ιστότοπους που θέλουν να εμφανίζονται στις απαντήσεις του ChatGPT, επιτρέψτε τον crawler αναζήτησης και αποφασίστε χωριστά για την εκπαίδευση. Αυτό το αρχείο επιτρέπει την αναζήτηση και εξαιρεί την εκπαίδευση:
User-agent: OAI-SearchBot
Allow: /
User-agent: GPTBot
Disallow: /
User-agent: *
Allow: /
Disallow: /admin/Προσέξτε μια λεπτομέρεια του RFC 9309: ένας crawler ακολουθεί την ομάδα που τον αναφέρει και αγνοεί την ομάδα *. Στο παραπάνω παράδειγμα, ο OAI-SearchBot θα μπορούσε να μπει στο /admin/, επειδή η δική του ομάδα δεν έχει γραμμή Disallow: /admin/. Επαναλάβετε σε κάθε ονομαστική ομάδα τις διαδρομές που θέλετε να μένουν ιδιωτικές. Η OpenAI αναφέρει ότι οι αλλαγές για την αναζήτηση μπορεί να χρειαστούν περίπου 24 ώρες για να εφαρμοστούν.
Πώς επιβεβαιώνω ότι το firewall τους αφήνει να περάσουν;
Το robots.txt δηλώνει μόνο την πολιτική σας. Το firewall ή το CDN αποφασίζει τι λαμβάνει πραγματικά κάθε αίτημα. Ζητήστε μια σελίδα με το user agent κάθε crawler και συγκρίνετε τον κωδικό κατάστασης και το μέγεθος του σώματος με ένα αίτημα από browser. Ένα 403, ένα 429 ή μια σελίδα πρόκλησης για τον crawler, με κανονική σελίδα για τον browser, σημαίνει ότι το firewall παρακάμπτει το robots.txt σας.
Το AISeeWhy εκτελεί αυτή τη σύγκριση για και τους τρεις agents της OpenAI ταυτόχρονα, χαρακτηρίζει P1 τους αποκλεισμούς του OAI-SearchBot και του ChatGPT-User επειδή κοστίζουν παραθέσεις, και αναφέρει έναν αποκλεισμένο GPTBot ως επιλογή πολιτικής P3 και όχι ως σφάλμα.
Συχνές ερωτήσεις
Είναι ο GPTBot το ίδιο με το ChatGPT;
Όχι. Ο GPTBot είναι crawler για δεδομένα εκπαίδευσης. Η αναζήτηση του ChatGPT χρησιμοποιεί τον OAI-SearchBot και οι ζωντανές επισκέψεις που ζητούν οι χρήστες προέρχονται από τον ChatGPT-User.
Μπορώ να επιτρέψω την αναζήτηση του ChatGPT και να αποκλείσω την εκπαίδευση;
Ναι. Επιτρέψτε τον OAI-SearchBot και απαγορεύστε τον GPTBot στο robots.txt. Η OpenAI τεκμηριώνει τις δύο ρυθμίσεις ως ανεξάρτητες.
Να αποκλείσω την OpenAI με βάση τη διεύθυνση IP;
Ο αποκλεισμός με IP εμποδίζει τον crawler να διαβάσει το robots.txt σας και κάνει την πολιτική σας δυσκολότερη στην αλλαγή. Συνήθως είναι καλύτερο να δηλώνετε την πολιτική στο robots.txt και να χρησιμοποιείτε τα δημοσιευμένα εύρη IP για να επαληθεύετε, όχι να αποκλείετε, τους crawlers της OpenAI.
Γιατί να ταιριάζω με το token και όχι με ολόκληρο το user agent;
Η OpenAI αναφέρει ότι ο αριθμός έκδοσης στα user agents της μπορεί να αλλάξει και ότι τα παραδείγματα που δημοσιεύει διαφέρουν από crawler σε crawler. Οι κανόνες που ταιριάζουν με το GPTBot ή το OAI-SearchBot συνεχίζουν να λειτουργούν μετά από μια ενημέρωση· οι κανόνες που ταιριάζουν με την ακριβή συμβολοσειρά μπορεί να σταματήσουν να ισχύουν χωρίς να το καταλάβετε.