Flyttet til Cloudflare? Sjekk at AI-crawlere fortsatt slipper inn
Botbeskyttelse, "Block AI bots" og WAF-regler er slått på som standard i mange Cloudflare-oppsett. De kan avvise AI-søkecrawlere uten at du ser noen feil på din side.
Gratis · Ingen registrering · Svar på 30 sekunder
Hva som blokkerer dem
Bot Fight Mode, blokkering av AI-boter, administrerte utfordringer og egendefinerte WAF-regler som treffer crawlerens user agent eller nettverk.
Hva vi sjekker
Sidene dine hentet som 16 AI- og søkecrawlere ved siden av en vanlig nettleser, med statuskoden og Cloudflare-headeren som viser en blokkering.
Hold det under kontroll
Regler endres. Overvåkingen sjekker nøkkelsidene dine på nytt og sender deg e-post når en crawler blir stengt ute igjen.
Etter et redesign · Etter flytting til Shopify · Etter en endring i robots.txt