Да ли Cloudflare блокира AI краулере? Како да откријете и исправите

За око 30 секунди видите да ли Cloudflare или други заштитни зид AI краулерима одговара блокадом и добијте правило које пропушта праве.

Бесплатно · Без регистрације · Резултат за 30 секунди

403, 429 и странице са изазовом

Краулери могу да добију блокаду или страницу Just a moment... док ваш прегледач добија праву. Страница се тражи на оба начина, а разлика је означена.

robots.txt наспрам заштитног зида

Када robots.txt дозвољава краулер, а сервер га одбија, извештај приказује сукоб, па знате коју поставку да промените.

Именовани заштитни зид

CDN или заштитни зид који је одговорио је именован, укључујући Cloudflare, па не морате да погађате где да тражите.

Правило које треба применити

Уз сваки налаз стиже и исправка, као што је Cloudflare правило или корак са листом дозвољених. Бесплатна провера приказује ваш резултат и први налаз, а цео извештај кошта $29, једнократно.

Кратак одговор

Cloudflare и други заштитни зидови могу AI краулерима да одговоре са 403, 429 или страницом са изазовом „Just a moment...“ док прегледачи добијају праву страницу, чак и када robots.txt дозвољава краулер. Проверите тако што ћете затражити страницу са user agent-ом краулера, а затим дозволите AI краулере за претрагу у AI Crawl Control или WAF правилом за прескакање.

Пронађите и исправите у 3 корака

  1. Затражите страницу два пута

    Једном са user agent-ом прегледача, једном са user agent-ом краулера. 403, 429 или 503 само за краулер, страница Just a moment... или знатно краћи одговор 200 значи блокаду заштитног зида.

  2. Дозволите краулере за претрагу

    У Cloudflare-у отворите AI Crawl Control, идите на листу Crawlers и у колони Action поставите Allow за краулере које желите, као што је OAI-SearchBot.

  3. По потреби прескочите остале заштите

    Ако их и даље блокира WAF прилагођено правило, Super Bot Fight Mode или ограничење броја захтева, додајте правило, постављено на прво место, које прескаче те функције за верификоване ботове. Боље је користити поље верификованог бота или објављене IP опсеге добављача него поклапање user agent-а.

Честа питања

Где у Cloudflare-у могу да видим који AI краулери су блокирани?

Отворите AI Crawl Control у Cloudflare контролној табли. Његова листа краулера приказује сваки AI краулер који је Cloudflare видео на вашем домену, колико захтева је послао и да ли је његова акција Allow или Block, а акцију можете ту и да промените. Друге функције, као што је Bot Fight Mode, и даље могу да блокирају краулер који сте дозволили, па резултат потврдите захтевом са user agent-ом тог краулера.

Да ли Cloudflare подразумевано блокира AI краулере?

Зависи од вашег налога, плана и подешавања у зони, а Cloudflare је ове опције временом мењао. Проверите AI Crawl Control и подешавања за ботове и тестирајте са user agent-ом краулера уместо да претпостављате.

Зашто мој сајт ради у прегледачу, а не ради за краулере?

Заштитни зидови процењују сваки захтев. Прегледач пролази JavaScript изазове и чува колачиће; краулер не, па може да добије страницу са изазовом или 403 које ви никада не видите.

Да ли је безбедно пропустити AI краулере кроз WAF?

Дозвољавање именованог краулера носи мали ризик ако га проверавате према IP опсезима компаније или Cloudflare-овом сигналу провереног бота. Правила која верују само user agent-у пропуштају и свакога ко га копира.

Да ли Cloudflare-ова функција прикривања имејл адреса утиче на AI краулере?

Она замењује имејл адресе линком који декодира само скрипта, па краулери уместо адресе виде замену. Ако желите да ваш контакт имејл буде читљив, искључите Email Address Obfuscation у оквиру Scrape Shield и прикажите адресу као обичан текст.

Прочитајте цео водич

Заштита од ботова постоји да би зауставила скрејпере и злоупотребе, и у томе је добра. Проблем је што су и AI краулери за претрагу ботови. Безбедносно подешавање укључено пре више година, ограничење брзине или широко правило против непознатих user agent-а могу тихо да држе напољу управо краулере који вас цитирају, док ваше сопствене посете изгледају потпуно нормално.

Зашто би заштитни зид блокирао AI краулере?

Заштитни зидови процењују сваки захтев. Краулер не решава JavaScript изазове, не чува колачиће као прегледач и често тражи много страница заредом, па може да изгледа баш као саобраћај који је заштита од ботова направљена да заустави. Чести узроци су:

  • Функције заштите од ботова које постављају изазов саобраћају који одговара познатим обрасцима ботова. Cloudflare-ов Bot Fight Mode, на пример, ботовима поставља рачунарски захтевне изазове.
  • Прилагођена WAF правила која блокирају user agent-е са речима као што су „bot“ или „crawler“ или им постављају изазов, или која дозвољавају само кратку листу претраживача.
  • Подешавања која блокирају AI краулере као категорију. Cloudflare вам омогућава да подесите политике за краулере типа Search, Agent и Training, а подешавање Block тамо се примењује на све њих.
  • Ограничење брзине које на брз низ захтева краулера одговара са 429.
  • Блокаде по земљи или ASN-у које случајно обухватају мреже са којих краулери раде.

Како да разликујем блокаду у заштитном зиду од блокаде у robots.txt?

Блокада у robots.txt је учтива молба: краулер чита ваша правила и не преузима страницу. Блокада у заштитном зиду је одговор: краулер тражи страницу и добија нешто друго. Ову другу врсту можете директно да видите. Затражите страницу два пута, једном са user agent-ом прегледача и једном са user agent-ом краулера, и упоредите.

for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
          "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"; do
  curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" https://example.com/page
done

Знаци блокаде у заштитном зиду: статус 403, 429 или 503 само за краулер; страница са насловом Just a moment... или Attention Required! | Cloudflare; садржај који садржи /cdn-cgi/challenge-platform; или одговор 200 који је много краћи од оног за прегледач. Имајте на уму да ваш тест долази са ваше IP адресе, а не из провереног IP опсега краулера, па показује како заштитни зид третира user agent, а не сваки детаљ тога како третира прави краулер.

Како да дозволим AI краулере за претрагу у Cloudflare-у?

Cloudflare-ов AI Crawl Control, доступан у свим плановима, приказује AI краулере који посећују ваш домен и омогућава вам да за сваки подесите радњу. На контролној табли отворите AI Crawl Control, идите на листу Crawlers и у колони Action за сваки краулер изаберите Allow или Block. Cloudflare каже да блокирање ту прави или ажурира прилагођено WAF правило у вашој зони.

Ако краулер блокира прилагођено WAF правило, Super Bot Fight Mode или ограничење брзине, додајте прилагођено правило које те функције прескаче за проверене ботове и за токен краулера:

Security → WAF → Custom rules → Create rule
  Expression: (cf.client.bot) or (http.user_agent contains "OAI-SearchBot")
  Action: Skip → All remaining custom rules, Super Bot Fight Mode, Rate limiting
Also: AI Crawl Control → OAI-SearchBot → Allow

Поставите правило на прво место. Имајте на уму да поклапање по user agent-у пропушта и свакога ко лажира тај user agent. Где можете, дајте предност пољу за проверене ботове (cf.client.bot) или IP опсезима које компанија објављује.

А шта је са Bot Fight Mode?

Cloudflare-ова документација изричито каже да се Bot Fight Mode не може заобићи нити прескочити прилагођеним WAF правилима ни Page Rules. Ако је то функција која краулерима поставља изазов, правило за прескакање неће помоћи. Опције су да искључите Bot Fight Mode или да користите Super Bot Fight Mode на плану који га има, јер ради на Ruleset Engine-у и подржава правила за прескакање.

Које краулере треба да пропустим?

Раздвојите краулере према томе шта раде. Краулери за претрагу и преузимања на захтев корисника одлучују да ли AI одговори могу да вас пронађу и цитирају. Краулери за обуку прикупљају податке за моделе, а њихово блокирање је легитиман избор који вас не уклања из AI претраге.

  • Претрага: OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot, bingbot, Applebot.
  • Преузимања на захтев корисника: ChatGPT-User, Claude-User, Perplexity-User.
  • Обука: GPTBot, ClaudeBot, CCBot, meta-externalagent, Bytespider.

Cloudflare-ова подешавања политике користе исту поделу на Search, Agent и Training, па прве две можете да дозволите, а о трећој да одлучите засебно. Ако користите други заштитни зид или CDN, принцип је исти: ставите токен краулера на листу дозвољених, уз проверу према IP опсезима које компанија објављује или обрнутим DNS-ом где је то понуђено, тако да добије исти одговор као прегледач.

Како AISeeWhy открива блокаде у заштитном зиду?

AISeeWhy тражи вашу страницу као 14 краулера и обичан прегледач, упоређује статус, величину и преусмеравања, препознаје странице са изазовом и именује заштитни зид или CDN који је одговорио. Када robots.txt дозвољава краулер, а сервер га блокира, извештај приказује сукоб и даје Cloudflare правило или корак за листу дозвољених којим се то исправља.

Исправке за овај проблем

Бесплатни алати

Следећи кораци

Краулери у овом чланку

Извори

Још чланака

Објављено · Ажурирано