Enganxa una adreça IP dels registres del teu servidor per veure si és dins dels rangs d'IP publicats oficialment per un rastrejador. Una petició que diu ser GPTBot o PerplexityBot però que ve d'una altra adreça no és aquell rastrejador, i la pots bloquejar sense perdre visibilitat a les respostes d'IA.
Quins rastrejadors publiquen les seves adreces IP?
OpenAI, Perplexity, Google, Microsoft i Apple publiquen els rangs d'IP dels seus rastrejadors en fitxers JSON, que llegim cada dia. Algunes altres empreses d'IA no publiquen rangs; en aquests casos, l'única comprovació possible és el DNS invers o la documentació del proveïdor. Per veure totes les visites de rastrejadors d'IA d'un registre alhora, puja el registre al teu compte d'AISeeWhy.
Com fer servir la comprovació d'IP de rastrejadors d'IA
Aquest text s'ha traduït de l'anglès de manera automàtica.
Què fa aquesta comprovació d'IP
Enganxa una adreça IPv4 o IPv6 dels registres del teu servidor o del teu tallafoc. La comprovació la busca als rangs d'IP que publiquen els mateixos operadors dels rastrejadors: OpenAI per a GPTBot, OAI-SearchBot i ChatGPT-User, Perplexity per a PerplexityBot i Perplexity-User, Google per a Googlebot, Microsoft per a Bingbot i Apple per a Applebot. Llegim aquestes llistes publicades cada dia. La resposta esmenta cada rastrejador els rangs del qual contenen l'adreça, o diu que cap no la conté.
Com llegir el resultat
Als rangs publicats d'un rastrejador: la petició venia de la xarxa d'aquell operador. Juntament amb un user agent coincident, és una prova sòlida que era el rastrejador real.
En cap rang publicat: si la petició deia ser un dels rastrejadors de la llista, no ho era. Algú altre n'ha fet servir el nom, i pots bloquejar aquesta adreça sense perdre visibilitat a les respostes d'IA.
Comprovat amb: la llista de rastrejadors els rangs dels quals s'han comparat. Un rastrejador que no és en aquesta llista no es pot confirmar ni descartar aquí.
Per què qualsevol pot dir que és GPTBot
Un user agent és una línia de text que envia el client, i qualsevol hi pot escriure GPTBot o Googlebot. Els scrapers ho fan per saltar-se filtres senzills. Per això els tallafocs que només miren el user agent es poden enganyar en tots dos sentits: deixen entrar rastrejadors falsos, o una regla escrita contra un rastrejador fals també bloqueja el real. Comparar l'adreça IP amb la llista publicada de l'operador és la manera de distingir-los.
Per als rastrejadors els operadors dels quals no publiquen un rang que llegim, fes servir la documentació del mateix operador. Google, Microsoft i Apple també admeten una comprovació de DNS: busca el nom d'amfitrió de l'adreça, comprova que acaba amb el domini de l'operador, com googlebot.com, google.com, search.msn.com o applebot.apple.com, i després torna a buscar aquest nom d'amfitrió i confirma que retorna la mateixa adreça.
host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.
host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1
Errors habituals
Bloquejar un rastrejador pel nom després de veure abusos d'un de fals. Bloqueja les adreces que abusen, o també perdràs el rastrejador real.
Permetre qualsevol petició el user agent de la qual digui GPTBot. Combina el user agent amb els rangs publicats a la teva regla del tallafoc.
Comprovar l'adreça d'un servidor intermediari. Darrere d'una CDN o d'un balancejador de càrrega, el teu servidor pot registrar el servidor intermediari, no el visitant; fes servir la capçalera que porta l'adreça del client.
Conservar una còpia antiga dels rangs. Els operadors els canvien; les regles creades a partir d'una llista de fa mesos poden bloquejar rastrejadors reals.
D'una adreça al registre sencer
Aquesta comprovació respon per a una adreça cada vegada. Al teu compte d'AISeeWhy, la comprovació de registres del servidor dels plans de pagament llegeix un registre d'accés sencer, compta les visites de cada rastrejador d'IA, separa els rastrejadors reals dels impostors amb aquests rangs publicats i mostra com els ha respost el teu servidor.
Preguntes freqüents
ClaudeBot apareix en aquesta comprovació?
De moment no: la comprovació cobreix els rastrejadors els fitxers de rangs publicats dels quals llegim, llistats sota el resultat. Per a altres rastrejadors, segueix la documentació de l'operador.
Una adreça és al rang de Googlebot però el user agent diu una altra cosa. Què vol dir?
La petició venia de la xarxa de Google. Google té diversos rastrejadors i agents d'obtenció; el user agent et diu quin. No era un tercer que es feia passar per Google.
Puc comprovar moltes adreces alhora?
No amb aquesta eina gratuïta. Puja el registre al teu compte per comprovar totes les visites que conté.
Es desa l'adreça que introdueixo?
S'utilitza per respondre la comprovació i no es desa amb la teva petició.