Umehamia Cloudflare? Kagua kwamba crawler za AI bado zinaingia

Ulinzi dhidi ya bot, "Block AI bots" na sheria za WAF huwa zimewashwa kwa chaguomsingi katika mipangilio mingi ya Cloudflare. Zinaweza kuzuia crawler za utafutaji za AI bila hitilafu yoyote upande wako.

Bure · Bila kujisajili · Matokeo kwa sekunde 30

Kinachozizuia

Bot Fight Mode, kuzuia bot za AI, changamoto zinazosimamiwa na sheria maalum za WAF zinazolingana na user agent ya crawler au mtandao wake.

Tunachokagua

Kurasa zako zikichukuliwa kama crawler 16 za AI na za utafutaji kando ya kivinjari cha kawaida, pamoja na status code na header ya Cloudflare inayoonyesha kizuizi.

Endelea kufuatilia

Sheria hubadilika. Ufuatiliaji hukagua tena kurasa zako muhimu na kukutumia barua pepe crawler inapozuiwa tena.

Pata kifurushi kamili

Baada ya kubadilisha muundo · Baada ya kuhamia Shopify · Baada ya kubadilisha robots.txt