Преминавте на Cloudflare? Проверете дали AI краулерите сè уште влегуваат
Заштитата од ботови, "Block AI bots" и WAF правилата се стандардно вклучени во многу Cloudflare поставки. Тие можат да ги одбијат AI краулерите за пребарување без никаква грешка на ваша страна.
Бесплатно · Без регистрација · Резултат за 30 секунди
Што ги блокира
Bot Fight Mode, блокирање на AI ботови, управувани предизвици и сопствени WAF правила што одговараат на user agent-от на краулерот или на неговата мрежа.
Што проверуваме
Вашите страници преземени како 16 AI и пребарувачки краулери покрај обичен прелистувач, со статусниот код и Cloudflare заглавието што покажува блокирање.
Држете го под контрола
Правилата се менуваат. Следењето повторно ги проверува вашите клучни страници и ви праќа е-пошта кога некој краулер повторно ќе биде исклучен.
По редизајн · По преминот на Shopify · По измена на robots.txt