GPTBot rep una pàgina buida

Resposta breu

El rastrejador ha rebut l'estat 200, però no la pàgina real. El seu text visible és menys del 15% del que ha rebut el navegador, o conté una frase de bloqueig com "access denied" o "are you a robot" que la pàgina del navegador no té. Busca la regla de bots que serveix aquesta pàgina substituta i deixa que el rastrejador vegi la pàgina completa.

access.soft_block · Prioritat: P1–P3, segons el tipus de rastrejador

Què vol dir

Una petició amb el user agent de GPTBot ha rebut l'estat 200, però el text de la pàgina és un avís de bloqueig o és molt més curt que el que rep un navegador.

Per què és important per a la cerca amb IA

Un bloqueig encobert és més difícil de detectar que un 403, perquè els registres i els monitors de disponibilitat mostren 200. El rastrejador desa el text que ha rebut, així que un motor de respostes pot indexar una pàgina que diu "activa JavaScript i les galetes" en lloc del teu contingut, o descartar-la per tenir poc contingut.

La comprovació només es fa quan la versió del navegador té com a mínim 200 caràcters de text. Totes dues respostes s'obtenen des del mateix servidor amb un moment de diferència, així que una gran diferència de text ve de com tracta la teva infraestructura el user agent del rastrejador, no de la xarxa ni de canvis en el contingut.

Com corregir-ho

  1. Compara la longitud del text i la frase detectada a les proves de l'informe amb la versió del navegador. L'informe d'AISeeWhy mostra les proves i una correcció a punt per enganxar; després, fes "Torna a comprovar" per confirmar el resultat.
  2. Busca funcions de gestió de bots que responguin amb una pàgina intersticial en lloc d'un error: les pàgines de desafiament o de detecció de JavaScript de Cloudflare, les pàgines de bots d'Imperva i Akamai, o un plugin de "verifica que ets humà".
  3. Revisa les regles de renderització dinàmica o de memòria cau que serveixen una plantilla diferent als bots, i les eines de proves A/B o de geolocalització que substitueixen la pàgina per als visitants desconeguts.
  4. Afegeix una excepció per al rastrejador a la regla que serveix la pàgina substituta, verificada per rang d'IP o DNS inversa si la teva plataforma ho admet.

Com confirmar la correcció

Després del canvi, prem «Torna a comprovar» a l'informe: mostra què s'ha corregit i com ha canviat la puntuació.

Comprova la meva pàgina →

Guies relacionades

Totes les troballes i com funciona la puntuació