GPTBot se preusmjerava drugamo
Zahtjev s user agentom ovog crawlera završio je negdje drugdje, a ne na stranici do koje dolazi preglednik: na drugom hostu ili na putanji koja sadrži login, signin, captcha ili blocked. Uklonite pravilo preusmjeravanja koje cilja user agent kako bi crawler završio na istom URL-u kao i ljudi.
Što to znači
Zahtjev s user agentom GPTBot završava na https://example.com/b, a ne na stranici koju dobiva preglednik.
Zašto je to važno za AI pretraživanje
Crawler koji se preusmjeri na obrazac za prijavu, stranicu s captchom ili drugu domenu nikada ne pročita sadržaj po koji je poslan. AI tražilice tada stranicu preskoče ili sadržaj pripišu URL-u na kojem je završio, a to je često općenita stranica bez ičega vrijednog citiranja.
Ta preusmjeravanja obično dolaze iz zaštite od botova, naplatnih zidova, članstva ili geografskih pravila koja reagiraju na user agent. Crawleri za pretraživanje i korisnički crawleri poput OAI-SearchBot, Claude-User i PerplexityBot pogođeni su jednako kao crawleri za treniranje, pa se ovaj nalaz ocjenjuje prema ulozi crawlera.
Kako to ispraviti
- Pročitajte konačni URL u nalazu kako biste vidjeli kamo je crawler poslan. Izvješće AISeeWhy prikazuje dokaze i gotov ispravak za lijepljenje; nakon toga pokrenite „Provjeri ponovno“ da potvrdite rezultat.
- Provjerite pravila preusmjeravanja u CDN-u (Cloudflare Redirect Rules, Page Rules ili Workers), u blokovima
return 301/302ilirewriteu nginxu te u retcimaRewriteRules uvjetom za user agent u Apacheu. - U WordPressu ili Shopifyju pogledajte aplikacije za članstvo, provjeru dobi, način održavanja i geografsko preusmjeravanje koje nepoznate posjetitelje šalju na stranicu za prijavu ili odabir zemlje.
- Izuzmite crawler iz pravila ili na izvornom URL-u prikažite javni sažetak zaštićenog sadržaja umjesto preusmjeravanja.
Kako potvrditi ispravak
Nakon promjene u izvještaju pritisnite „Provjeri ponovno”: navest će što je ispravljeno i kako se ocjena promijenila.