Преминавте на Cloudflare? Проверете дали AI краулерите сè уште влегуваат

Заштитата од ботови, "Block AI bots" и WAF правилата се стандардно вклучени во многу Cloudflare поставки. Тие можат да ги одбијат AI краулерите за пребарување без никаква грешка на ваша страна.

Бесплатно · Без регистрација · Резултат за 30 секунди

Што ги блокира

Bot Fight Mode, блокирање на AI ботови, управувани предизвици и сопствени WAF правила што одговараат на user agent-от на краулерот или на неговата мрежа.

Што проверуваме

Вашите страници преземени како 16 AI и пребарувачки краулери покрај обичен прелистувач, со статусниот код и Cloudflare заглавието што покажува блокирање.

Држете го под контрола

Правилата се менуваат. Следењето повторно ги проверува вашите клучни страници и ви праќа е-пошта кога некој краулер повторно ќе биде исклучен.

Земете го целосниот пакет

По редизајн · По преминот на Shopify · По измена на robots.txt