ChatGPT pot veure el meu lloc web? Com comprovar-ho
Enganxa la teva pàgina i comprova en uns 30 segons si els rastrejadors de ChatGPT hi poden accedir, llegir-la i citar-la, i què cal canviar si no poden.
Gratis · Sense registre · Resultats en 30 segons
robots.txt, rastrejador per rastrejador
OAI-SearchBot, ChatGPT-User i GPTBot es llegeixen per separat segons les regles de l'RFC 9309, de manera que veus quin està permès i quina línia decideix.
Bloquejos del tallafoc i de la CDN
La teva pàgina se sol·licita com a 14 rastrejadors i com a navegador normal. Un 403, un 429 o una pàgina de desafiament que només reben els rastrejadors es marca, i s'indica quin tallafoc hi ha al darrere.
Què rep realment el rastrejador
L'estat, la mida i les redireccions de cada rastrejador es comparen amb el que rep un navegador, de manera que es nota una pàgina que respon als rastrejadors amb menys del que dona a les persones.
Una solució per a cada troballa
Cada troballa inclou el canvi que cal fer. La comprovació gratuïta mostra la teva puntuació i la primera troballa; l'informe complet costa $29, un únic pagament.
ChatGPT només pot citar la teva pàgina si el rastrejador de cerca d'OpenAI, OAI-SearchBot, la pot obtenir i rep el mateix HTML que un navegador. Comprova tres coses: que el robots.txt no bloquegi OAI-SearchBot, que el tallafoc o la CDN no li respongui amb un 403 o una pàgina de desafiament, i que el text principal sigui a l'HTML inicial. Ser llegible no és el mateix que ser recomanat: per saber si ChatGPT anomena el teu lloc, fes-li les preguntes que fan els teus compradors i anota quins llocs cita.
Comprova-ho tu mateix en 3 passos
- Llegeix el teu robots.txt
Obre
https://your-site.com/robots.txt. Cap grup per aOAI-SearchBot,ChatGPT-UseroUser-agent: *no hauria de prohibir la pàgina.GPTBotnomés compta per a l'entrenament. - Prova què rep el rastrejador
Demana la pàgina com a
OAI-SearchBot, o fes la comprovació gratuïta. Ha de respondre 200 amb el mateix text que rep un navegador, no un 403 ni una pàgina de desafiament. - Pregunta-ho a ChatGPT
Amb la cerca activada, demana-li que resumeixi la teva URL i que respongui una pregunta que facin els teus compradors, i mira les fonts que enumera. Si l'accés és correcte i tot i així no apareixes, la causa és el contingut.
Preguntes freqüents
Puc comprovar gratis si ChatGPT pot veure el meu lloc?
Sí. Llegir el teu robots.txt, fer una petició amb curl amb el user agent OAI-SearchBot i preguntar a ChatGPT no costa res. La comprovació gratuïta d'AISeeWhy fa les proves de rastrejadors per a una pàgina al dia sense compte.
Com comprovo si ChatGPT recomana el meu lloc?
Fes a ChatGPT, amb la cerca activada, les preguntes que fan els teus compradors, i anota si anomena o enllaça el teu lloc i quins competidors anomena en el teu lloc. Les respostes varien d'una execució a una altra, així que repeteix cada pregunta i torna-ho a comprovar al llarg de diverses setmanes. La comprovació Visibilitat a la IA d'AISeeWhy fa les teves preguntes a ChatGPT, Claude, Perplexity i Gemini amb les teves pròpies claus d'API i segueix les mencions al costat de fins a quatre competidors. Les respostes per API poden ser diferents del que mostra l'aplicació de ChatGPT.
Per què ChatGPT no troba el meu lloc?
Sovint és perquè OAI-SearchBot està bloquejat al robots.txt, un tallafoc li respon amb un 403 o una pàgina de desafiament, o el text només apareix després d'executar JavaScript. Si tot això està bé, potser la teva pàgina simplement respon la pregunta de manera menys directa que les pàgines que cita ChatGPT.
Bloquejar GPTBot treu el meu lloc de la cerca de ChatGPT?
No. OpenAI tracta la configuració de cada rastrejador com a independent. GPTBot té a veure amb l'entrenament, mentre que OAI-SearchBot decideix si les pàgines es poden mostrar a les respostes de la cerca de ChatGPT. Pots bloquejar l'un i permetre l'altre.
ChatGPT-User respecta el robots.txt?
OpenAI diu que, com que aquestes visites les inicia un usuari, les regles del robots.txt poden no aplicar-s'hi. Si vols aturar aquestes visites, una regla del robots.txt no és un control fiable.
Quant triga un canvi al robots.txt a arribar a ChatGPT?
OpenAI diu que els seus sistemes poden trigar unes 24 hores a ajustar-se per a la cerca després d'una actualització del robots.txt.
N'hi ha prou que la pàgina sigui accessible perquè em citin?
No. L'accés fa possible una cita, però no la garanteix. El que diu la pàgina, i com de clar ho diu, continua decidint si es fa servir en una resposta.
Llegeix la guia completa
Molts propietaris de llocs pregunten a ChatGPT pel seu propi producte, veuen que cita un competidor i es demanen si ChatGPT pot arribar al seu lloc. La pregunta té una resposta concreta que es pot comprovar. OpenAI publica els noms dels seus rastrejadors i el que fa cadascun, així que pots revisar cada baula de la cadena: les regles del robots.txt, la resposta que envia el teu servidor i el contingut d'aquesta resposta.
La comprovació de 5 minuts, pas a pas
- Obre
https://your-site.com/robots.txti assegura't que cap grup per aOAI-SearchBot,ChatGPT-UseroUser-agent: *no prohibeix la pàgina.GPTBotnomés importa per a l'entrenament. - Fes una comprovació gratuïta de la pàgina a AISeeWhy o envia una petició amb el user agent
OAI-SearchBot: ha de rebre l'estat 200 i el mateix text que rep un navegador, no un 403 ni una pàgina de desafiament. - Mira el codi font de la pàgina i confirma que el text principal és a l'HTML i que no l'afegeix després JavaScript.
- Demana a ChatGPT, amb la cerca activada, que resumeixi el teu URL i que respongui una pregunta que fan els teus compradors. Mira les fonts que indica.
Si falla el pas 1 o el 2, corregeix això primer: les seccions següents expliquen com. Si els quatre passos surten bé i ChatGPT continua sense citar-te, la causa és el contingut, no l'accés.
Quins rastrejadors d'OpenAI importen per a les respostes de ChatGPT?
OpenAI documenta tres agents que els propietaris de llocs solen trobar-se. Tenen funcions diferents, i bloquejar-ne un no bloqueja els altres. OpenAI afirma que cada configuració del robots.txt és independent.
OAI-SearchBottroba i indexa pàgines per a les funcions de cerca de ChatGPT. OpenAI diu que els llocs que l'han exclòs no es mostraran a les respostes de la cerca de ChatGPT. És el que decideix si et poden citar.GPTBotrecull contingut que es pot fer servir per entrenar els models fundacionals d'OpenAI. Bloquejar-lo indica que el teu contingut no s'ha de fer servir per a l'entrenament. No et treu de les respostes de cerca.ChatGPT-Uservisita una pàgina quan una persona ho demana a ChatGPT, per exemple enganxant-hi un enllaç. OpenAI diu que les regles del robots.txt poden no aplicar-se a aquestes visites iniciades per l'usuari, i que aquest agent no s'utilitza per decidir si el contingut apareix a la cerca.
En resum: OAI-SearchBot controla les cites, GPTBot controla l'entrenament i ChatGPT-User gestiona les visites en directe a petició d'un usuari.
Com reviso el meu robots.txt per a ChatGPT?
Obre https://yourdomain.com/robots.txt en un navegador. Busca un grup que nomeni OAI-SearchBot. Si no n'hi ha cap, el rastrejador segueix el grup User-agent: *. Un Disallow: / al grup que s'aplica bloqueja tot el lloc.
Comprova també que el fitxer respon. Segons l'RFC 9309, si el robots.txt retorna un error del servidor (5xx) o no s'hi pot accedir, un rastrejador ha de suposar que tot el lloc està bloquejat. Un 404 no és cap problema: vol dir que no hi ha regles. Una adreça de robots.txt que retorna una pàgina HTML amb l'estat 200 és un error habitual, perquè llavors els rastrejadors no hi troben cap regla vàlida.
Una configuració que manté la cerca de ChatGPT i t'exclou de l'entrenament és així:
User-agent: OAI-SearchBot
Allow: /
User-agent: GPTBot
Disallow: /
User-agent: *
Allow: / OpenAI diu que els canvis per a la cerca poden trigar unes 24 hores a tenir efecte després d'actualitzar el robots.txt.
Un tallafoc pot bloquejar ChatGPT encara que el robots.txt el permeti?
Sí, i és una causa habitual. El robots.txt és una petició als rastrejadors que es porten bé, no un control d'accés. El teu tallafoc, la CDN o la protecció contra bots decideixen què s'envia de veritat. Si tracten un rastrejador d'IA com un bot no desitjat, el rastrejador rep un 403, un 429 o una pàgina de desafiament com la pantalla "Just a moment..." de Cloudflare, mentre que les persones veuen la pàgina amb normalitat al navegador.
Des de fora sembla un lloc obert a tothom. Només una petició que s'identifica com el rastrejador mostra la diferència. En aquest cas el robots.txt diu que sí, el servidor diu que no, i guanya el servidor.
Com puc provar què rep OAI-SearchBot?
Envia dues peticions a la mateixa URL, una amb el user agent d'un navegador i una amb el del rastrejador, i compara el codi d'estat i la mida. OpenAI publica un user agent d'exemple per a cada rastrejador; el número de versió que conté pot canviar.
# As a browser
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
-A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
https://example.com/page
# As OAI-SearchBot
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
-A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
https://example.com/page Si el navegador rep un 200 amb un cos gran i el rastrejador rep un 403, 429, 503 o un cos molt més petit, el teu tallafoc tracta el rastrejador de manera diferent. Hi ha un límit: la prova surt de la teva pròpia adreça IP, no de la d'OpenAI. Els tallafocs que verifiquen els rastrejadors amb els rangs d'IP publicats (OpenAI els llista a openai.com/searchbot.json) poden deixar passar el rastrejador real i bloquejar la teva prova. Tot i així, un bloqueig en aquesta prova et diu com tracta el tallafoc el user agent, i val la pena corregir-ho.
I si la pàgina carrega però ChatGPT continua sense dir res útil?
L'accés només és el primer pas. Si l'HTML que arriba és una carcassa buida que JavaScript omple més tard, el rastrejador pot rebre gairebé gens de text. Mira l'HTML en brut amb curl o amb l'opció de veure el codi font del navegador: si el text principal no hi és, probablement el rastrejador tampoc no el veu.
Després venen els senyals del contingut: una resposta breu i clara a la part de dalt de la pàgina, encapçalaments que coincideixin amb les preguntes que fa la gent, un editor i un autor identificats, i dates visibles. No garanteixen una cita, però fan que la pàgina sigui més fàcil de citar correctament.
Com ho comprova AISeeWhy?
AISeeWhy obté la teva pàgina com a OAI-SearchBot, GPTBot, ChatGPT-User i 11 rastrejadors més al costat d'un navegador normal, llegeix el robots.txt segons les regles de l'RFC 9309 i identifica el tallafoc quan respon amb un bloqueig o un desafiament. Cada troballa inclou la correcció per enganxar, i la comprovació gratuïta mostra la teva puntuació i la primera troballa.
Correccions per a aquest problema
- OAI-SearchBot està bloquejat
- GPTBot rep una pàgina buida
- No s'ha pogut obtenir la pàgina
- La pàgina respon amb l'estat 403
Passos següents
- Comprovador i provador de robots.txt per a rastrejadors d'IA
- Comprovació d'IP de rastrejadors d'IA
- Mireu un exemple d'informe complet
- Monitoratge de rastrejadors d'IA
- Plans i preus
Rastrejadors en aquest article
Fonts
- OpenAI: Resum dels rastrejadors d'OpenAI
- RFC 9309: Protocol d'exclusió de robots
- Cloudflare: Gestió dels rastrejadors d'IA (AI Crawl Control)