GPTBot dostane prázdnu stránku

Krátka odpoveď

Crawler dostal stavový kód 200, ale nie skutočnú stránku. Jej viditeľný text má menej ako 15 % toho, čo dostal prehliadač, alebo obsahuje frázu o blokovaní ako „access denied“ či „are you a robot“, ktorú stránka v prehliadači nemá. Nájdite pravidlo pre boty, ktoré posiela túto náhradnú stránku, a nechajte crawlera vidieť celú stránku.

access.soft_block · Priorita: P1–P3, podľa typu crawlera

Čo to znamená

Požiadavka s user agentom GPTBot dostala stavový kód 200, ale text stránky je oznámenie o blokovaní alebo je oveľa kratší, než čo dostane prehliadač.

Prečo je to dôležité pre AI vyhľadávanie

Mäkké blokovanie sa odhaľuje ťažšie ako 403, pretože logy a monitory dostupnosti ukazujú 200. Crawler si uloží akýkoľvek text, ktorý dostal, takže odpoveďový nástroj môže namiesto vášho obsahu indexovať stránku s textom „zapnite JavaScript a cookies“ alebo stránku vyradiť ako príliš chudobnú.

Kontrola beží len vtedy, keď verzia pre prehliadač má aspoň 200 znakov textu. Obe odpovede sa sťahujú z toho istého servera s odstupom okamihu, takže veľký rozdiel v texte vzniká tým, ako váš systém zaobchádza s user agentom crawlera, nie sieťou ani zmenou obsahu.

Ako to opraviť

  1. Porovnajte dĺžku textu a nájdenú frázu v dôkazoch správy s verziou pre prehliadač. Správa AISeeWhy ukazuje dôkazy a hotovú opravu na vloženie; potom spustite „Skontrolovať znova“ a overte výsledok.
  2. Hľadajte funkcie správy botov, ktoré namiesto chyby odpovedajú medzistránkou: overovacie stránky Cloudflare alebo stránky s detekciou JavaScriptu, stránky pre boty od Imperva a Akamai alebo plugin typu „overte, že ste človek“.
  3. Skontrolujte dynamické vykresľovanie alebo pravidlá cache, ktoré botom posielajú inú šablónu, a nástroje na A/B testovanie či geolokáciu, ktoré neznámym návštevníkom stránku nahrádzajú.
  4. Pridajte pre crawlera výnimku do pravidla, ktoré posiela náhradnú stránku, overenú rozsahom IP alebo reverzným DNS, ak to vaša platforma podporuje.

Ako overiť opravu

Po zmene stlačte v správe „Skontrolovať znova“: uvedie, čo sa opravilo a ako sa zmenilo skóre.

Skontrolovať moju stránku →

Súvisiace návody

Všetky zistenia a ako funguje skóre