Els rastrejadors d'OpenAI explicats: GPTBot, OAI-SearchBot i ChatGPT-User
OpenAI fa servir GPTBot per recollir contingut que pot entrenar els seus models, OAI-SearchBot per indexar pàgines per a la cerca de ChatGPT i ChatGPT-User per a les visites que demana una persona. Bloquejar GPTBot només t'exclou de l'entrenament. Bloquejar OAI-SearchBot et treu de les respostes de la cerca de ChatGPT. El robots.txt pot no aplicar-se a ChatGPT-User.
Tres user agents diferents d'una mateixa empresa, cadascun amb el seu token del robots.txt, generen molta confusió. Molts llocs van bloquejar GPTBot quan va aparèixer, i alguns van descobrir més tard que també havien bloquejat el rastrejador que decideix si ChatGPT els pot citar, sovint amb una regla àmplia del tallafoc. Aquest article repassa cada agent a partir de la documentació de la mateixa OpenAI.
En aquesta pàgina
Què fa GPTBot?
GPTBot rastreja contingut que es pot fer servir per entrenar els models fundacionals d'IA generativa d'OpenAI. La documentació d'OpenAI diu que bloquejar GPTBot indica que el contingut d'un lloc no s'ha de fer servir per entrenar aquests models.
El seu user agent conté el token GPTBot, per exemple Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot. OpenAI avisa que el número de versió pot canviar, així que fes coincidir el token, no la cadena completa. OpenAI publica els seus rangs d'IP a openai.com/gptbot.json.
Permetre'l o no és una decisió de política. Alguns editors volen que el seu contingut formi part de les dades d'entrenament, i d'altres no. Bloquejar-lo no afecta la cerca de ChatGPT, perquè aquesta fa servir un altre rastrejador. Si més endavant canvies d'opinió, n'hi ha prou de treure la línia Disallow; no cal registrar ni sol·licitar res.
Què fa OAI-SearchBot?
OAI-SearchBot és el rastrejador de cerca d'OpenAI. Mostra llocs web a les funcions de cerca de ChatGPT. OpenAI diu clarament que els llocs que exclouen OAI-SearchBot no es mostraran a les respostes de la cerca de ChatGPT.
Si vols que ChatGPT citi les teves pàgines, aquest és el rastrejador que has de permetre, tant al robots.txt com al tallafoc. Els seus rangs d'IP es publiquen a openai.com/searchbot.json, cosa que permet a un tallafoc verificar que una petició ve realment d'OpenAI.
Què fa ChatGPT-User?
ChatGPT-User no és un rastrejador en el sentit habitual. Obté una pàgina quan un usuari de ChatGPT o un GPT personalitzat ho demana, per exemple quan algú enganxa la teva URL en un xat i en demana un resum. OpenAI diu que no s'utilitza per rastrejar el web automàticament.
Aquí importen dos detalls de la documentació d'OpenAI. Primer, com que aquestes accions les inicia un usuari, les regles del robots.txt poden no aplicar-s'hi. Segon, ChatGPT-User no s'utilitza per determinar si el contingut pot aparèixer a la cerca. Per a la cerca, la configuració que compta és la d'OAI-SearchBot.
Què passa si bloquejo cadascun?
- Bloquejar
GPTBot: el teu contingut queda marcat com a no apte per a l'entrenament. La cerca de ChatGPT et pot continuar mostrant i citant siOAI-SearchBotestà permès. - Bloquejar
OAI-SearchBot: les teves pàgines no es mostraran a les respostes de la cerca de ChatGPT. L'entrenament es controla per separat ambGPTBot. - Bloquejar
ChatGPT-Useral robots.txt: OpenAI diu que el robots.txt pot no aplicar-se a aquestes visites, així que l'efecte no està garantit. Bloquejar-lo al tallafoc atura l'obtenció de la pàgina, i els usuaris que enganxen el teu enllaç reben un error en lloc del teu contingut. - Bloquejar-los tots tres al tallafoc: ChatGPT no pot indexar ni obtenir les teves pàgines, així que no té res teu per citar.
- Permetre'ls tots tres: les teves pàgines es poden indexar per a la cerca, obtenir a petició i, a través de
GPTBot, fer servir per a l'entrenament.
OpenAI també indica que, quan tant GPTBot com OAI-SearchBot estan permesos, pot fer servir els resultats d'un sol rastreig per a tots dos fins per no rastrejar dues vegades.
Quin robots.txt he de fer servir per als rastrejadors d'OpenAI?
Per a la majoria de llocs que volen aparèixer a les respostes de ChatGPT, permet el rastrejador de cerca i decideix per separat sobre l'entrenament. Aquest fitxer permet la cerca i t'exclou de l'entrenament:
User-agent: OAI-SearchBot
Allow: /
User-agent: GPTBot
Disallow: /
User-agent: *
Allow: /
Disallow: /admin/ Fixa't en un detall de l'RFC 9309: un rastrejador segueix el grup que el nomena i ignora el grup *. A l'exemple anterior, OAI-SearchBot podria entrar a /admin/ perquè el seu grup no té cap línia Disallow: /admin/. Repeteix a cada grup amb nom els camins que vulguis mantenir privats. OpenAI diu que els canvis per a la cerca poden trigar unes 24 hores a aplicar-se.
Com confirmo que el tallafoc els deixa passar?
El robots.txt només expressa la teva política. El tallafoc o la CDN decideixen què rep realment cada petició. Demana una pàgina amb el user agent de cada rastrejador i compara el codi d'estat i la mida del cos amb una petició de navegador. Un 403, un 429 o una pàgina de desafiament per al rastrejador, amb una pàgina normal per al navegador, vol dir que el tallafoc passa per sobre del teu robots.txt.
AISeeWhy fa aquesta comparació per als tres agents d'OpenAI alhora, marca com a P1 els bloquejos d'OAI-SearchBot i ChatGPT-User perquè costen cites, i classifica un GPTBot bloquejat com a decisió de política P3, no com a error.
Correccions per a aquest problema
Passos següents
- Comprovador i provador de robots.txt per a rastrejadors d'IA
- Comprovació d'IP de rastrejadors d'IA
- Mireu un exemple d'informe complet
- Monitoratge de rastrejadors d'IA
- Plans i preus
Rastrejadors en aquest article
Preguntes freqüents
Quines són les cadenes user agent dels rastrejadors d'OpenAI?
La documentació d'OpenAI indica Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot per a GPTBot, una cadena d'estil Chrome que acaba en compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot per a OAI-SearchBot i Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot per a ChatGPT-User. Els números de versió poden canviar, així que fes la coincidència amb el token. Els rangs d'IP es publiquen a openai.com/gptbot.json, openai.com/searchbot.json i openai.com/chatgpt-user.json; comprova-hi l'IP d'origen per distingir un rastrejador real d'una imitació.
GPTBot és el mateix que ChatGPT?
No. GPTBot és un rastrejador per a dades d'entrenament. La cerca de ChatGPT fa servir OAI-SearchBot, i les visites en directe que demanen els usuaris vénen de ChatGPT-User.
Puc permetre la cerca de ChatGPT però bloquejar l'entrenament?
Sí. Permet OAI-SearchBot i bloqueja GPTBot al robots.txt. OpenAI documenta aquestes dues configuracions com a independents.
Hauria de bloquejar OpenAI per adreça IP?
Bloquejar per IP impedeix que el rastrejador llegeixi el teu robots.txt i fa que la teva política sigui més difícil de canviar. Normalment és millor expressar la política al robots.txt i fer servir els rangs d'IP publicats per verificar els rastrejadors d'OpenAI, no per bloquejar-los.
Per què s'ha de fer coincidir el token i no el user agent complet?
OpenAI diu que el número de versió dels seus user agents pot canviar, i les cadenes d'exemple que publica són diferents per a cada rastrejador. Les regles que fan coincidir GPTBot o OAI-SearchBot continuen funcionant després d'una actualització; les que fan coincidir la cadena exacta poden deixar de coincidir sense avisar.