GPTBot

OpenAI · Entrenament d'IA

GPTBot és el rastrejador d'OpenAI per a contingut que es pot fer servir per entrenar els seus models fundacionals d'IA generativa. Si no el permets a robots.txt, indiques a OpenAI que no faci servir el teu contingut per a l'entrenament. Bloquejar-lo no et treu de les respostes de cerca de ChatGPT, que depenen d'OAI-SearchBot.

Com permetre'l

User-agent: GPTBot
Allow: /

Com bloquejar-lo

User-agent: GPTBot
Disallow: /

Què fa

OpenAI diu que fa servir GPTBot per fer més útils i segurs els seus models fundacionals d'IA generativa. Rastreja contingut que es pot fer servir per entrenar aquests models, i no permetre GPTBot indica que el contingut d'un lloc no s'ha de fer servir per a l'entrenament.

Permetre'l o no és una decisió de política, no de visibilitat. La cerca de ChatGPT fa servir un altre rastrejador, OAI-SearchBot, i OpenAI documenta els dos ajustos com a independents. Quan tots dos estan permesos, OpenAI diu que pot fer servir els resultats d'un sol rastreig per a les dues finalitats per no rastrejar dues vegades.

Al nostre estudi de 2026-11, el 21.4% dels llocs populars amb robots.txt el bloquejaven. →

Token de robots.txt

GPTBot

Cadena del user agent

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot

Com verificar les visites reals

OpenAI publica en un fitxer JSON els rangs d'IP que fa servir aquest agent. Compara la IP d'origen de la petició amb aquests rangs; una petició que es presenta com a GPTBot però ve d'una altra adreça no és d'OpenAI. OpenAI avisa que el número de versió del user agent pot canviar, així que busca el token GPTBot i no la cadena completa.

Comprova si el teu lloc el deixa entrar →

Els rastrejadors d'OpenAI explicats: GPTBot, OAI-SearchBot i ChatGPT-User →