Ai trecut la Cloudflare? Verifică dacă crawlerele AI mai pot intra
Protecția anti-bot, "Block AI bots" și regulile WAF sunt activate implicit în multe configurații Cloudflare. Ele pot respinge crawlerele de căutare AI fără nicio eroare de partea ta.
Gratuit · Fără cont · Rezultat în 30 de secunde
Ce le blochează
Bot Fight Mode, blocarea boților AI, provocările gestionate și regulile WAF personalizate care se potrivesc cu user agentul crawlerului sau cu rețeaua lui.
Ce verificăm
Paginile tale descărcate ca 16 crawlere AI și de căutare alături de un browser obișnuit, cu codul de stare și headerul Cloudflare care arată o blocare.
Ține-l sub control
Regulile se schimbă. Monitorizarea îți reverifică paginile-cheie și îți trimite un e-mail când un crawler este din nou blocat.
După un redesign · După trecerea la Shopify · După o modificare a robots.txt