GPTBot inapata ukurasa bandia
Crawler ilipata hali 200, lakini si ukurasa halisi. Maandishi yake yanayoonekana ni chini ya 15% ya kile kivinjari kilipata, au yana kirai cha kuzuia kama "access denied" au "are you a robot" ambacho ukurasa wa kivinjari hauna. Tafuta sheria ya bot inayotoa ukurasa huu bandia na uiruhusu crawler ione ukurasa kamili.
Maana yake
Ombi lenye user agent ya GPTBot lilipata hali 200, lakini maandishi ya ukurasa ni tangazo la kuzuiwa au ni mafupi sana kuliko kile kivinjari kinapata.
Kwa nini ni muhimu kwa utafutaji wa AI
Kuzuiwa kwa namna hii (soft block) ni vigumu kugundua kuliko 403 kwa sababu logi na vifuatiliaji vya upatikanaji vinaonyesha 200. Crawler huhifadhi maandishi yoyote iliyopokea, kwa hivyo injini ya majibu inaweza kuweka kwenye index ukurasa unaosema "enable JavaScript and cookies" badala ya maudhui yako, au kuuacha kwa kuwa mwembamba.
Ukaguzi huu huendeshwa tu pale toleo la kivinjari lina angalau herufi 200 za maandishi. Majibu yote mawili yanapakuliwa kutoka seva moja kwa tofauti ya muda mfupi, kwa hivyo tofauti kubwa ya maandishi inatokana na jinsi mfumo wako unavyoshughulikia user agent ya crawler, si mtandao wala maudhui kubadilika.
Jinsi ya kurekebisha
- Linganisha urefu wa maandishi na kirai kilicholingana kwenye ushahidi wa ripoti na toleo la kivinjari. Ripoti ya AISeeWhy inaonyesha ushahidi na rekebisho tayari kubandikwa; baadaye endesha "Kagua tena" kuthibitisha matokeo.
- Tafuta vipengele vya bot management vinavyojibu kwa ukurasa wa kati badala ya hitilafu: kurasa za changamoto au za kugundua JavaScript za Cloudflare, kurasa za bot za Imperva na Akamai, au plugin ya "verify you are human".
- Kagua sheria za dynamic rendering au cache zinazotoa kiolezo tofauti kwa bot, na zana za majaribio ya A/B au za kijiografia zinazobadilisha ukurasa kwa wageni wasiojulikana.
- Ongeza ubaguzi kwa crawler kwenye sheria inayotoa ukurasa bandia, ukithibitishwa kwa masafa ya IP au reverse DNS pale jukwaa lako linapoyaunga mkono.
Jinsi ya kuthibitisha rekebisho
Baada ya badiliko, bonyeza "Kagua tena" kwenye ripoti: inaorodhesha kilichorekebishwa na jinsi alama ilivyobadilika.