GPTBot inaelekezwa kwingine

Jibu fupi

Ombi lenye user agent ya crawler hii liliishia mahali tofauti na ukurasa ambao kivinjari hufikia: kwenye host nyingine, au kwenye njia yenye login, signin, captcha au blocked. Ondoa sheria ya redirect inayolenga user agent ili crawler ifike kwenye URL ileile wanayofika watu.

access.redirect_diff · Kipaumbele: P1–P3, kulingana na aina ya crawler

Maana yake

Ombi lenye user agent ya GPTBot linaishia kwenye https://example.com/b, si kwenye ukurasa ambao kivinjari kinapata.

Kwa nini ni muhimu kwa utafutaji wa AI

Crawler inayoelekezwa kwenye fomu ya kuingia, ukurasa wa captcha au kikoa kingine haisomi kamwe maudhui iliyotumwa kuyachukua. Injini za majibu basi huruka ukurasa au huyahusisha maudhui na URL ilipoishia, ambayo mara nyingi ni ukurasa wa jumla usio na chochote cha kunukuu.

Redirect hizi kwa kawaida hutoka kwenye ulinzi dhidi ya bot, paywall, uanachama au sheria za kijiografia zinazotegemea user agent. Crawler za utafutaji na za watumiaji kama OAI-SearchBot, Claude-User na PerplexityBot huathiriwa kwa njia ileile kama crawler za mafunzo, kwa hivyo dosari hii inakadiriwa kwa kazi ya crawler.

Jinsi ya kurekebisha

  1. Soma URL ya mwisho kwenye dosari ili kuona crawler ilipelekwa wapi. Ripoti ya AISeeWhy inaonyesha ushahidi na rekebisho tayari kubandikwa; baadaye endesha "Kagua tena" kuthibitisha matokeo.
  2. Kagua sheria za redirect kwenye CDN yako (Cloudflare Redirect Rules, Page Rules au Workers), kwenye vipande vya nginx return 301/302 au rewrite, na kwenye mistari ya Apache RewriteRule yenye sharti la user agent.
  3. Kwenye WordPress au Shopify, angalia programu za uanachama, uthibitisho wa umri, hali ya matengenezo na redirect za kijiografia zinazotuma wageni wasiojulikana kwenye ukurasa wa kuingia au wa nchi.
  4. Iondolee crawler sheria hiyo, au onyesha muhtasari wa umma wa maudhui yaliyofungwa kwenye URL asili badala ya kuelekeza kwingine.

Jinsi ya kuthibitisha rekebisho

Baada ya badiliko, bonyeza "Kagua tena" kwenye ripoti: inaorodhesha kilichorekebishwa na jinsi alama ilivyobadilika.

Kagua ukurasa wangu →

Miongozo inayohusiana

Dosari zote na jinsi alama inavyofanya kazi