Umehamia Cloudflare? Kagua kwamba crawler za AI bado zinaingia
Ulinzi dhidi ya bot, "Block AI bots" na sheria za WAF huwa zimewashwa kwa chaguomsingi katika mipangilio mingi ya Cloudflare. Zinaweza kuzuia crawler za utafutaji za AI bila hitilafu yoyote upande wako.
Bure · Bila kujisajili · Matokeo kwa sekunde 30
Kinachozizuia
Bot Fight Mode, kuzuia bot za AI, changamoto zinazosimamiwa na sheria maalum za WAF zinazolingana na user agent ya crawler au mtandao wake.
Tunachokagua
Kurasa zako zikichukuliwa kama crawler 16 za AI na za utafutaji kando ya kivinjari cha kawaida, pamoja na status code na header ya Cloudflare inayoonyesha kizuizi.
Endelea kufuatilia
Sheria hubadilika. Ufuatiliaji hukagua tena kurasa zako muhimu na kukutumia barua pepe crawler inapozuiwa tena.
Baada ya kubadilisha muundo · Baada ya kuhamia Shopify · Baada ya kubadilisha robots.txt