GPTBot se preusmjerava drugamo

Kratki odgovor

Zahtjev s user agentom ovog crawlera završio je negdje drugdje, a ne na stranici do koje dolazi preglednik: na drugom hostu ili na putanji koja sadrži login, signin, captcha ili blocked. Uklonite pravilo preusmjeravanja koje cilja user agent kako bi crawler završio na istom URL-u kao i ljudi.

access.redirect_diff · Prioritet: P1–P3, prema vrsti crawlera

Što to znači

Zahtjev s user agentom GPTBot završava na https://example.com/b, a ne na stranici koju dobiva preglednik.

Zašto je to važno za AI pretraživanje

Crawler koji se preusmjeri na obrazac za prijavu, stranicu s captchom ili drugu domenu nikada ne pročita sadržaj po koji je poslan. AI tražilice tada stranicu preskoče ili sadržaj pripišu URL-u na kojem je završio, a to je često općenita stranica bez ičega vrijednog citiranja.

Ta preusmjeravanja obično dolaze iz zaštite od botova, naplatnih zidova, članstva ili geografskih pravila koja reagiraju na user agent. Crawleri za pretraživanje i korisnički crawleri poput OAI-SearchBot, Claude-User i PerplexityBot pogođeni su jednako kao crawleri za treniranje, pa se ovaj nalaz ocjenjuje prema ulozi crawlera.

Kako to ispraviti

  1. Pročitajte konačni URL u nalazu kako biste vidjeli kamo je crawler poslan. Izvješće AISeeWhy prikazuje dokaze i gotov ispravak za lijepljenje; nakon toga pokrenite „Provjeri ponovno“ da potvrdite rezultat.
  2. Provjerite pravila preusmjeravanja u CDN-u (Cloudflare Redirect Rules, Page Rules ili Workers), u blokovima return 301/302 ili rewrite u nginxu te u retcima RewriteRule s uvjetom za user agent u Apacheu.
  3. U WordPressu ili Shopifyju pogledajte aplikacije za članstvo, provjeru dobi, način održavanja i geografsko preusmjeravanje koje nepoznate posjetitelje šalju na stranicu za prijavu ili odabir zemlje.
  4. Izuzmite crawler iz pravila ili na izvornom URL-u prikažite javni sažetak zaštićenog sadržaja umjesto preusmjeravanja.

Kako potvrditi ispravak

Nakon promjene u izvještaju pritisnite „Provjeri ponovno”: navest će što je ispravljeno i kako se ocjena promijenila.

Provjeri moju stranicu →

Povezani vodiči

Svi nalazi i kako se računa ocjena