robots.txt permet GPTBot, però el servidor el bloqueja

Resposta breu

El teu robots.txt permet que aquest rastrejador obtingui la pàgina, però el servidor, una CDN o un tallafoc han bloquejat una petició amb el seu user agent. La política declarada i el comportament real no coincideixen. Canvia la regla del tallafoc perquè coincideixi amb robots.txt, o no permetis el rastrejador a robots.txt si el volies bloquejar.

robots.access_conflict · Prioritat: P1–P3, segons el tipus de rastrejador

Què vol dir

Les teves regles deixen entrar GPTBot, però la petició amb el seu user agent ha estat bloquejada. El tallafoc o la CDN anul·len la política que declares.

Per què és important per a la cerca amb IA

Els rastrejadors consideren robots.txt la teva política. Quan diu que sí i el servidor respon 403, el rastrejador malgasta peticions, pot tornar-ho a provar més tard, i la pàgina continua sense entrar a l'índex del motor de respostes. Sovint els equips creuen que permeten la cerca amb IA perquè ho diu robots.txt, mentre una regla de bots la bloqueja sense fer soroll.

La prova es fa des d'una adreça IP no verificada. Una regla que només deixa passar el rastrejador des dels seus rangs d'IP publicats, que és una configuració raonable, pot aparèixer aquí encara que el rastrejador real hi entri. Comprova quina regla s'ha activat abans de canviar res.

Com corregir-ho

  1. Compara el grup de robots.txt i l'estat de la petició bloquejada a la troballa. L'informe d'AISeeWhy mostra les proves i una correcció a punt per enganxar; després, fes "Torna a comprovar" per confirmar el resultat.
  2. Busca la regla que ha bloquejat la petició: a Cloudflare, revisa Security → Events i els ajustos d'AI Crawl Control i Bot Fight Mode; en altres CDN, revisa el registre de gestió de bots.
  3. Si vols deixar entrar el rastrejador, afegeix-hi una excepció; si el vols fora, afegeix un grup Disallow per al seu token perquè la teva política quedi declarada en un sol lloc.

Com confirmar la correcció

Després del canvi, prem «Torna a comprovar» a l'informe: mostra què s'ha corregit i com ha canviat la puntuació.

Comprova la meva pàgina →

Guies relacionades

Totes les troballes i com funciona la puntuació