GPTBot dostane prázdnu stránku
Crawler dostal stavový kód 200, ale nie skutočnú stránku. Jej viditeľný text má menej ako 15 % toho, čo dostal prehliadač, alebo obsahuje frázu o blokovaní ako „access denied“ či „are you a robot“, ktorú stránka v prehliadači nemá. Nájdite pravidlo pre boty, ktoré posiela túto náhradnú stránku, a nechajte crawlera vidieť celú stránku.
Čo to znamená
Požiadavka s user agentom GPTBot dostala stavový kód 200, ale text stránky je oznámenie o blokovaní alebo je oveľa kratší, než čo dostane prehliadač.
Prečo je to dôležité pre AI vyhľadávanie
Mäkké blokovanie sa odhaľuje ťažšie ako 403, pretože logy a monitory dostupnosti ukazujú 200. Crawler si uloží akýkoľvek text, ktorý dostal, takže odpoveďový nástroj môže namiesto vášho obsahu indexovať stránku s textom „zapnite JavaScript a cookies“ alebo stránku vyradiť ako príliš chudobnú.
Kontrola beží len vtedy, keď verzia pre prehliadač má aspoň 200 znakov textu. Obe odpovede sa sťahujú z toho istého servera s odstupom okamihu, takže veľký rozdiel v texte vzniká tým, ako váš systém zaobchádza s user agentom crawlera, nie sieťou ani zmenou obsahu.
Ako to opraviť
- Porovnajte dĺžku textu a nájdenú frázu v dôkazoch správy s verziou pre prehliadač. Správa AISeeWhy ukazuje dôkazy a hotovú opravu na vloženie; potom spustite „Skontrolovať znova“ a overte výsledok.
- Hľadajte funkcie správy botov, ktoré namiesto chyby odpovedajú medzistránkou: overovacie stránky Cloudflare alebo stránky s detekciou JavaScriptu, stránky pre boty od Imperva a Akamai alebo plugin typu „overte, že ste človek“.
- Skontrolujte dynamické vykresľovanie alebo pravidlá cache, ktoré botom posielajú inú šablónu, a nástroje na A/B testovanie či geolokáciu, ktoré neznámym návštevníkom stránku nahrádzajú.
- Pridajte pre crawlera výnimku do pravidla, ktoré posiela náhradnú stránku, overenú rozsahom IP alebo reverzným DNS, ak to vaša platforma podporuje.
Ako overiť opravu
Po zmene stlačte v správe „Skontrolovať znova“: uvedie, čo sa opravilo a ako sa zmenilo skóre.