Jaribio letu lilizuiwa, matokeo hayana uhakika

Jibu fupi

Hata ombi la kawaida la kivinjari la ukaguzi lilikataliwa kwa hali ya kuzuia, hitilafu au ukurasa wa changamoto, kwa hivyo ufikiaji wa crawler hauwezi kupimwa. Hii haimaanishi crawler zimezuiwa. Ruhusu ukaguzi kwa muda mfupi au uuendeshe kutoka mtandao mwingine, kisha linganisha matokeo ya crawler tena.

access.all_blocked · Kipaumbele: P2

Maana yake

Hata ombi la kivinjari kutoka seva yetu lilipata hali 403 au ukurasa wa changamoto, kwa hivyo ufikiaji wa bot hauwezi kupimwa kutoka hapa. Endesha ukaguzi kutoka mtandao mwingine au ruhusu ukaguzi kwa muda mfupi.

Kwa nini ni muhimu kwa utafutaji wa AI

Kila uamuzi wa ufikiaji katika AISeeWhy unalinganisha jibu la crawler na ombi la kivinjari lililotumwa kutoka seva ileile. Ombi la kivinjari lenyewe likizuiwa, hakuna kipimo cha kulinganisha, kwa hivyo ukaguzi unasimama hapo badala ya kuripoti kuzuiwa kwa crawler ambako huenda si kweli.

Sababu ya kawaida ni ulinzi dhidi ya bot unaotoa changamoto kwa trafiki yote kutoka masafa ya IP ya wingu na vituo vya data, au hali ya tovuti nzima kama Under Attack mode ya Cloudflare. Sheria hiyohiyo inaweza pia kuathiri crawler halisi za AI, ambazo nazo hupakua kutoka vituo vya data, kwa hivyo inafaa kukagua jinsi inavyozishughulikia.

Jinsi ya kurekebisha

  1. Soma hali na WAF iliyogunduliwa kwenye ushahidi wa dosari.
  2. Kwenye Cloudflare, angalia Security → Events kwa ombi lililozuiwa na uone sheria iliyochochewa: Under Attack mode, changamoto ya JavaScript, kuzuia nchi au ASN, au rate limit.
  3. Legeza kwa muda sheria inayotoa changamoto kwa kila mgeni, au ruhusu ukaguzi kwa muda mfupi, kisha endesha "Kagua tena". Ombi la kivinjari linatumia user agent ya kawaida ya Chrome, kwa hivyo ubaguzi wa user agent pekee hautasaidia.
  4. Ombi la kivinjari likipita, pitia safu za crawler: sasa zinaonyesha kama kila crawler inaruhusiwa.

Jinsi ya kuthibitisha rekebisho

Baada ya badiliko, bonyeza "Kagua tena" kwenye ripoti: inaorodhesha kilichorekebishwa na jinsi alama ilivyobadilika.

Kagua ukurasa wangu →

Miongozo inayohusiana

Dosari zote na jinsi alama inavyofanya kazi