GPTBot je preusmerjen drugam
Zahteva z user agentom tega pajka se je končala drugje kot stran, do katere pride brskalnik: na drugem gostitelju ali na poti, ki vsebuje login, signin, captcha ali blocked. Odstranite pravilo preusmeritve, ki cilja na user agent, da pajek pristane na istem URL-ju kot ljudje.
Kaj pomeni
Zahteva z user agentom GPTBot se konča na https://example.com/b, ne na strani, ki jo dobi brskalnik.
Zakaj je to pomembno za iskanje z UI
Pajek, ki je preusmerjen na obrazec za prijavo, stran s captcho ali drugo domeno, nikoli ne prebere vsebine, po katero je bil poslan. Iskalniki odgovorov nato stran preskočijo ali pa vsebino pripišejo URL-ju, na katerem se je zahteva končala, kar je pogosto splošna stran brez ničesar, kar bi bilo vredno citirati.
Te preusmeritve običajno izhajajo iz zaščite pred boti, plačljivega dostopa, članstva ali geolokacijskih pravil, ki se odzivajo na user agent. Pajki za iskanje in uporabniški pajki, kot so OAI-SearchBot, Claude-User in PerplexityBot, so prizadeti enako kot pajki za učenje, zato je ta ugotovitev ocenjena glede na vlogo pajka.
Kako to popraviti
- V ugotovitvi preberite končni URL in poglejte, kam je bil pajek poslan. Poročilo AISeeWhy pokaže dokaze in popravek, pripravljen za lepljenje; nato zaženite „Preveri znova“, da potrdite rezultat.
- Preverite pravila preusmeritev v CDN (Cloudflare Redirect Rules, Page Rules ali Workers), bloke
return 301/302alirewritev nginx in vrsticeRewriteRules pogojem za user agent v Apache. - V WordPressu ali Shopifyju preverite aplikacije za članstvo, preverjanje starosti, način vzdrževanja in geolokacijske preusmeritve, ki neznane obiskovalce pošljejo na stran za prijavo ali izbiro države.
- Pajka izvzemite iz pravila ali pa na izvirnem URL-ju namesto preusmeritve pokažite javni povzetek zaklenjene vsebine.
Kako potrditi popravek
Po spremembi v poročilu pritisnite »Preveri znova«: pokaže, kaj je odpravljeno in kako se je spremenila ocena.