GPTBot inaelekezwa kwingine
Ombi lenye user agent ya crawler hii liliishia mahali tofauti na ukurasa ambao kivinjari hufikia: kwenye host nyingine, au kwenye njia yenye login, signin, captcha au blocked. Ondoa sheria ya redirect inayolenga user agent ili crawler ifike kwenye URL ileile wanayofika watu.
Maana yake
Ombi lenye user agent ya GPTBot linaishia kwenye https://example.com/b, si kwenye ukurasa ambao kivinjari kinapata.
Kwa nini ni muhimu kwa utafutaji wa AI
Crawler inayoelekezwa kwenye fomu ya kuingia, ukurasa wa captcha au kikoa kingine haisomi kamwe maudhui iliyotumwa kuyachukua. Injini za majibu basi huruka ukurasa au huyahusisha maudhui na URL ilipoishia, ambayo mara nyingi ni ukurasa wa jumla usio na chochote cha kunukuu.
Redirect hizi kwa kawaida hutoka kwenye ulinzi dhidi ya bot, paywall, uanachama au sheria za kijiografia zinazotegemea user agent. Crawler za utafutaji na za watumiaji kama OAI-SearchBot, Claude-User na PerplexityBot huathiriwa kwa njia ileile kama crawler za mafunzo, kwa hivyo dosari hii inakadiriwa kwa kazi ya crawler.
Jinsi ya kurekebisha
- Soma URL ya mwisho kwenye dosari ili kuona crawler ilipelekwa wapi. Ripoti ya AISeeWhy inaonyesha ushahidi na rekebisho tayari kubandikwa; baadaye endesha "Kagua tena" kuthibitisha matokeo.
- Kagua sheria za redirect kwenye CDN yako (Cloudflare Redirect Rules, Page Rules au Workers), kwenye vipande vya nginx
return 301/302aurewrite, na kwenye mistari ya ApacheRewriteRuleyenye sharti la user agent. - Kwenye WordPress au Shopify, angalia programu za uanachama, uthibitisho wa umri, hali ya matengenezo na redirect za kijiografia zinazotuma wageni wasiojulikana kwenye ukurasa wa kuingia au wa nchi.
- Iondolee crawler sheria hiyo, au onyesha muhtasari wa umma wa maudhui yaliyofungwa kwenye URL asili badala ya kuelekeza kwingine.
Jinsi ya kuthibitisha rekebisho
Baada ya badiliko, bonyeza "Kagua tena" kwenye ripoti: inaorodhesha kilichorekebishwa na jinsi alama ilivyobadilika.