Дали Cloudflare ги блокира AI краулерите? Како да дознаете и да поправите

Видете за околу 30 секунди дали Cloudflare или друг заштитен ѕид им одговара на AI краулерите со блокирање и добијте го правилото што ги пушта вистинските.

Бесплатно · Без регистрација · Резултат за 30 секунди

403, 429 и страници со предизвик

Краулерите може да добијат блокирање или страница Just a moment..., додека вашиот прелистувач ја добива вистинската. Страницата се бара на двата начина и разликата се означува.

robots.txt наспроти заштитниот ѕид

Кога robots.txt го дозволува краулерот, а серверот го одбива, извештајот го покажува конфликтот, за да знаете која поставка да ја смените.

Заштитниот ѕид, именуван

CDN-от или заштитниот ѕид што одговорил се именува, вклучително и Cloudflare, па не мора да погодувате каде да барате.

Правилото што треба да го примените

Секој наод доаѓа со поправка, како правило во Cloudflare или чекор за список на дозволени. Бесплатната проверка ви го прикажува резултатот и првиот наод; целосниот извештај чини $29, еднократно.

Краток одговор

Cloudflare и другите заштитни ѕидови може да им одговорат на AI краулерите со 403, 429 или страница со предизвик „Just a moment...“ додека прелистувачите ја добиваат вистинската страница, дури и кога robots.txt го дозволува краулерот. Проверете со барање на страницата со user agent-от на краулерот, а потоа дозволете ги AI краулерите за пребарување во AI Crawl Control или со WAF правило за прескокнување.

Најдете и поправете во 3 чекори

  1. Побарајте ја страницата двапати

    Еднаш со user agent на прелистувач, еднаш со оној на краулерот. 403, 429 или 503 само за краулерот, страница Just a moment... или многу пократок 200 значи блокирање од заштитен ѕид.

  2. Дозволете ги краулерите за пребарување

    Во Cloudflare отворете AI Crawl Control, одете на списокот Crawlers и поставете Allow во колоната Action за краулерите што ги сакате, како OAI-SearchBot.

  3. По потреба прескокнете ги другите заштити

    Ако WAF custom правило, Super Bot Fight Mode или ограничување на барања сѐ уште ги блокираат, додадете правило, поставено прво, што ги прескокнува тие функции за верификувани ботови. Претпочитајте го полето за верификуван бот или објавените IP опсези на давателот пред совпаѓање по user agent.

Често поставувани прашања

Каде во Cloudflare можам да видам кои AI краулери се блокирани?

Отворете AI Crawl Control во контролната табла на Cloudflare. Неговата листа на краулери го покажува секој AI краулер што Cloudflare го видел на вашиот домен, колку барања направил и дали неговата акција е Allow или Block, а таму можете и да ја промените акцијата. Други функции, како Bot Fight Mode, сепак може да блокираат краулер што сте го дозволиле, па потврдете го резултатот со барање што го користи user agent на краулерот.

Дали Cloudflare стандардно ги блокира AI краулерите?

Зависи од вашата сметка, планот и поставките во вашата зона, а Cloudflare ги менувал овие опции со текот на времето. Проверете ги AI Crawl Control и вашите поставки за ботови и тестирајте со user agent-от на краулерот наместо да претпоставувате.

Зошто мојот сајт работи во прелистувач, но не и за краулерите?

Заштитните ѕидови го проценуваат секое барање. Прелистувачот поминува JavaScript предизвици и чува колачиња; краулерот не, па може да добие страница со предизвик или 403 што вие никогаш не ги гледате.

Дали е безбедно да се пуштат AI краулерите низ WAF?

Пуштањето именуван краулер носи мал ризик ако го потврдите преку IP опсезите на производителот или сигналот за потврден бот на Cloudflare. Правилата што веруваат само на user agent-от го пуштаат и секој што ќе го копира.

Дали функцијата на Cloudflare за прикривање е-адреси влијае на AI краулерите?

Таа ги заменува е-адресите со врска што ја декодира само скрипта, па краулерите гледаат замена наместо адресата. Ако сакате вашата е-адреса за контакт да биде читлива, исклучете го Email Address Obfuscation под Scrape Shield и прикажете ја адресата како обичен текст.

Прочитајте го целиот водич

Заштитата од ботови постои за да ги запира скреперите и злоупотребите, и добро го прави тоа. Проблемот е што и AI краулерите за пребарување се ботови. Безбедносна поставка вклучена пред години, ограничување на бројот на барања или широко правило против непознати user agent-и може тивко да ги држат надвор краулерите што ве цитираат, додека вашите посети изгледаат сосема нормално.

Зошто заштитен ѕид би ги блокирал AI краулерите?

Заштитните ѕидови го проценуваат секое барање. Краулерот не извршува JavaScript предизвици, не чува колачиња како прелистувач и често бара многу страници по ред, па може да изгледа токму како сообраќајот што заштитата од ботови е создадена да го запре. Вообичаени причини се:

  • Функции за заштита од ботови што го предизвикуваат сообраќајот што одговара на познати шеми на ботови. Bot Fight Mode на Cloudflare, на пример, им поставува пресметковно скапи предизвици на ботовите.
  • Прилагодени WAF правила што ги блокираат или предизвикуваат user agent-ите што содржат зборови како „bot“ или „crawler“, или што дозволуваат само кратка листа пребарувачи.
  • Поставки што ги блокираат AI краулерите како категорија. Cloudflare ви овозможува да поставите политики за краулерите Search, Agent и Training, а поставката Block таму важи за сите нив.
  • Ограничување на бројот на барања што на брзата низа барања на краулерот одговара со 429.
  • Блокирања по земја или ASN што случајно ги опфаќаат мрежите од кои работат краулерите.

Како да разликувам блокирање од заштитниот ѕид од блокирање во robots.txt?

Блокирањето во robots.txt е учтиво барање: краулерот ги чита вашите правила и не ја презема страницата. Блокирањето од заштитниот ѕид е одговор: краулерот ја бара страницата и добива нешто друго. Вториот вид можете да го видите директно. Побарајте ја страницата двапати, еднаш со user agent на прелистувач и еднаш со оној на краулерот, и споредете.

for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
          "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"; do
  curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" https://example.com/page
done

Знаци за блокирање од заштитниот ѕид: статус 403, 429 или 503 само за краулерот; страница со наслов Just a moment... или Attention Required! | Cloudflare; тело што содржи /cdn-cgi/challenge-platform; или одговор 200 што е многу пократок од оној за прелистувачот. Имајте предвид дека вашиот тест доаѓа од вашата IP адреса, а не од потврдениот IP опсег на краулерот, па покажува како заштитниот ѕид постапува со user agent-от, а не секоја ситница за тоа како постапува со вистинскиот краулер.

Како да ги дозволам AI краулерите за пребарување во Cloudflare?

AI Crawl Control на Cloudflare, достапен на сите планови, ги наведува AI краулерите што го посетуваат вашиот домен и ви овозможува да поставите дејство за секој. Во контролната табла отворете AI Crawl Control, одете во листата Crawlers и изберете Allow или Block во колоната Action за секој краулер. Cloudflare наведува дека блокирањето таму создава или ажурира прилагодено WAF правило во вашата зона.

Ако краулерот го блокира прилагодено WAF правило, Super Bot Fight Mode или ограничувањето на бројот на барања, додадете прилагодено правило што ги прескокнува тие функции за потврдените ботови и за ознаката на краулерот:

Security → WAF → Custom rules → Create rule
  Expression: (cf.client.bot) or (http.user_agent contains "OAI-SearchBot")
  Action: Skip → All remaining custom rules, Super Bot Fight Mode, Rate limiting
Also: AI Crawl Control → OAI-SearchBot → Allow

Ставете го правилото прво. Имајте предвид дека совпаѓањето по user agent го пушта и секој што го лажира тој user agent. Каде што можете, претпочитајте го полето за потврден бот (cf.client.bot) или IP опсезите што ги објавува производителот.

Што е со Bot Fight Mode?

Документацијата на Cloudflare јасно наведува дека Bot Fight Mode не може да се заобиколи ниту прескокне со прилагодени WAF правила или Page Rules. Ако токму таа функција ги предизвикува краулерите, правило за прескокнување нема да помогне. Опциите се да го исклучите Bot Fight Mode или да користите Super Bot Fight Mode на план што го има, кој работи на Ruleset Engine и поддржува правила за прескокнување.

Кои краулери да ги пуштам?

Разделете ги краулерите според тоа што прават. Краулерите за пребарување и за преземање на барање на корисници одлучуваат дали AI одговорите можат да ве најдат и цитираат. Краулерите за обука собираат податоци за модели, а нивното блокирање е легитимен избор што не ве отстранува од AI пребарувањето.

  • Пребарување: OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot, bingbot, Applebot.
  • Преземања на барање на корисници: ChatGPT-User, Claude-User, Perplexity-User.
  • Обука: GPTBot, ClaudeBot, CCBot, meta-externalagent, Bytespider.

Поставките за политики на самиот Cloudflare ја користат истата поделба на Search, Agent и Training, па можете да ги дозволите првите две и одделно да одлучите за третата. Ако користите друг заштитен ѕид или CDN, принципот е ист: ставете ја ознаката на краулерот на листата за дозволени, потврдена преку објавените IP опсези на производителот или обратен DNS каде што се нудат, за да го добие истиот одговор како прелистувачот.

Како AISeeWhy открива блокирања од заштитниот ѕид?

AISeeWhy ја презема вашата страница како 14 краулери и обичен прелистувач, ги споредува статусот, големината и пренасочувањата, препознава страници со предизвик и го именува заштитниот ѕид или CDN-от што одговорил. Кога robots.txt го дозволува краулерот, а серверот го блокира, извештајот го прикажува конфликтот и го дава правилото за Cloudflare или чекорот за листата на дозволени со кој се поправа.

Поправки за овој проблем

Бесплатни алатки

Следни чекори

Краулери во оваа статија

Извори

Уште статии

Објавено · Ажурирано