Prešli ste na Cloudflare? Skontrolujte, či sa AI crawlery stále dostanú dnu
Ochrana pred botmi, „Block AI bots“ a pravidlá WAF sú v mnohých nastaveniach Cloudflare predvolene zapnuté. Môžu AI vyhľadávacie crawlery odmietnuť bez akejkoľvek chyby na vašej strane.
Zadarmo · Bez registrácie · Výsledok za 30 sekúnd
Čo ich blokuje
Bot Fight Mode, blokovanie AI botov, spravované výzvy a vlastné pravidlá WAF, ktoré zodpovedajú user agentovi crawlera alebo jeho sieti.
Čo kontrolujeme
Vaše stránky načítané ako 16 AI a vyhľadávacích crawlerov vedľa bežného prehliadača, so stavovým kódom a hlavičkou Cloudflare, ktorá ukazuje blokovanie.
Majte to pod kontrolou
Pravidlá sa menia. Monitorovanie znova kontroluje vaše kľúčové stránky a pošle vám e-mail, keď je niektorý crawler opäť vyradený.