Lumipat sa Cloudflare? Tiyaking nakakapasok pa rin ang mga AI crawler

Naka-on bilang default ang bot protection, “Block AI bots” at mga WAF rule sa maraming setup ng Cloudflare. Maaari nilang itaboy ang mga AI search crawler nang walang anumang error na nakikita sa panig mo.

Libre · Walang sign-up · Resulta sa loob ng 30 segundo

Ano ang humaharang sa kanila

Bot Fight Mode, pag-block ng AI bot, managed challenge at mga custom na WAF rule na tumutugma sa user agent ng crawler o sa network nito.

Ano ang sinusuri namin

Ang mga pahina mo na kinuha bilang 16 na AI at search crawler katabi ng karaniwang browser, kasama ang status code at ang Cloudflare header na nagpapakita ng block.

Panatilihing bantay

Nagbabago ang mga rule. Muling sinusuri ng pagmo-monitor ang mga pangunahing pahina mo at nag-e-email sa iyo kapag muling naharang ang isang crawler.

Kunin ang kumpletong package

Pagkatapos ng redesign · Pagkatapos lumipat sa Shopify · Pagkatapos baguhin ang robots.txt