GPTBot dobiva zamjensku stranicu

Kratki odgovor

Crawler je dobio status 200, ali ne i pravu stranicu. Njegov vidljivi tekst manji je od 15 % onoga što je dobio preglednik ili sadrži frazu blokade poput „access denied“ ili „are you a robot“ koje na stranici za preglednik nema. Pronađite pravilo za botove koje šalje ovu zamjensku stranicu i omogućite crawleru da vidi cijelu stranicu.

access.soft_block · Prioritet: P1–P3, prema vrsti crawlera

Što to znači

Zahtjev s user agentom GPTBot dobio je status 200, ali tekst stranice je obavijest o blokadi ili je znatno kraći od onoga što dobiva preglednik.

Zašto je to važno za AI pretraživanje

Meku blokadu teže je uočiti od 403 jer zapisnici i nadzor dostupnosti pokazuju 200. Crawler sprema tekst koji je dobio, pa AI tražilica može indeksirati stranicu na kojoj piše „enable JavaScript and cookies“ umjesto vašeg sadržaja ili je odbaciti kao siromašnu sadržajem.

Provjera se izvodi samo kada verzija za preglednik ima najmanje 200 znakova teksta. Oba se odgovora dohvaćaju s istog poslužitelja u razmaku od trenutka, pa velika razlika u tekstu proizlazi iz toga kako vaš sustav tretira user agent crawlera, a ne iz mreže ili promjene sadržaja.

Kako to ispraviti

  1. Usporedite duljinu teksta i pronađenu frazu u dokazima izvješća s verzijom za preglednik. Izvješće AISeeWhy prikazuje dokaze i gotov ispravak za lijepljenje; nakon toga pokrenite „Provjeri ponovno“ da potvrdite rezultat.
  2. Potražite značajke upravljanja botovima koje umjesto pogreške odgovaraju međustranicom: Cloudflareove stranice s provjerom ili otkrivanjem JavaScripta, stranice za botove Imperve i Akamaija ili dodatak „potvrdite da ste čovjek“.
  3. Provjerite dinamičko renderiranje ili pravila predmemorije koja botovima šalju drukčiji predložak te alate za A/B testiranje ili geolokaciju koji nepoznatim posjetiteljima zamjenjuju stranicu.
  4. Dodajte iznimku za crawler u pravilo koje šalje zamjensku stranicu, provjerenu IP rasponom ili obrnutim DNS-om ako to vaša platforma podržava.

Kako potvrditi ispravak

Nakon promjene u izvještaju pritisnite „Provjeri ponovno”: navest će što je ispravljeno i kako se ocjena promijenila.

Provjeri moju stranicu →

Povezani vodiči

Svi nalazi i kako se računa ocjena