GPTBot je presmerovaný inam
Požiadavka s user agentom tohto crawlera skončila inde ako na stránke, na ktorú sa dostane prehliadač: na inom hostiteľovi alebo na ceste obsahujúcej login, signin, captcha alebo blocked. Odstráňte pravidlo presmerovania, ktoré cieli na user agenta, aby crawler skončil na tej istej URL ako ľudia.
Čo to znamená
Požiadavka s user agentom GPTBot skončí na https://example.com/b, nie na stránke, ktorú dostane prehliadač.
Prečo je to dôležité pre AI vyhľadávanie
Crawler presmerovaný na prihlasovací formulár, stránku s captchou alebo inú doménu nikdy neprečíta obsah, pre ktorý prišiel. Odpoveďové nástroje potom stránku buď preskočia, alebo obsah priradia URL, na ktorej skončil, čo je často všeobecná stránka bez ničoho, čo by stálo za citovanie.
Tieto presmerovania zvyčajne pochádzajú z ochrany proti botom, paywallu, členských alebo geografických pravidiel, ktoré reagujú na user agenta. Vyhľadávacie a používateľské crawlery ako OAI-SearchBot, Claude-User a PerplexityBot sú zasiahnuté rovnako ako tréningové crawlery, preto sa toto zistenie hodnotí podľa úlohy crawlera.
Ako to opraviť
- Pozrite si v zistení konečnú URL, aby ste videli, kam bol crawler poslaný. Správa AISeeWhy ukazuje dôkazy a hotovú opravu na vloženie; potom spustite „Skontrolovať znova“ a overte výsledok.
- Skontrolujte pravidlá presmerovania v CDN (Cloudflare Redirect Rules, Page Rules alebo Workers), bloky
return 301/302aleborewritev nginx a riadkyRewriteRules podmienkou na user agenta v Apache. - Vo WordPresse alebo Shopify sa pozrite na aplikácie pre členstvo, overenie veku, režim údržby a geografické presmerovanie, ktoré posielajú neznámych návštevníkov na prihlásenie alebo na stránku krajiny.
- Vyňmite crawlera z pravidla alebo namiesto presmerovania zobrazte na pôvodnej URL verejné zhrnutie uzamknutého obsahu.
Ako overiť opravu
Po zmene stlačte v správe „Skontrolovať znova“: uvedie, čo sa opravilo a ako sa zmenilo skóre.