Cloudflare ЖИ краулерлерін бұғаттап тұр ма? Қалай анықтап, түзетуге болады

Cloudflare немесе басқа файрвол ЖИ краулерлеріне бұғатпен жауап беретінін шамамен 30 секундта көріп, керек краулерлерді өткізетін ережені алыңыз.

Тегін · Тіркелусіз · Нәтиже 30 секундта

403, 429 және тексеру беттері

Браузеріңіз нақты бетті алғанда, краулерлер бұғат немесе Just a moment... бетін алуы мүмкін. Бетіңіз екі жолмен сұралып, айырмашылық белгіленеді.

robots.txt және файрвол

robots.txt краулерге рұқсат беріп, сервер одан бас тартқанда, есеп қайшылықты көрсетеді, сондықтан қай параметрді өзгерту керегін білесіз.

Файрвол аталады

Жауап берген CDN немесе файрвол, соның ішінде Cloudflare, аталады, сондықтан қайдан іздеу керегін болжамайсыз.

Қолданатын ереже

Әр нәтижеге Cloudflare ережесі немесе allowlist қадамы сияқты түзету беріледі. Тегін тексеру ұпайыңызды және бірінші нәтижені көрсетеді; толық есеп — $29, бір реттік төлем.

Қысқа жауап

Cloudflare мен басқа файрволдар robots.txt краулерді рұқсат етсе де, ЖИ краулерлеріне 403, 429 немесе "Just a moment..." тексеру бетімен жауап беріп, браузерлерге нақты бетті бере алады. Бетті краулердің user agent атымен сұрап тексеріңіз, содан кейін ЖИ іздеу краулерлерін AI Crawl Control бөлімінде немесе WAF skip ережесімен өткізіңіз.

Табу және түзету: 3 қадам

  1. Бетті екі рет сұраңыз

    Бір рет браузердің user agent атымен, бір рет краулердікімен. Тек краулерге берілетін 403, 429 немесе 503, Just a moment... беті не әлдеқайда қысқа 200 файрвол бұғатын білдіреді.

  2. Іздеу краулерлеріне рұқсат беріңіз

    Cloudflare-де AI Crawl Control ашып, Crawlers тізіміне өтіп, қажет краулерлер үшін, мысалы OAI-SearchBot, Action бағанында Allow таңдаңыз.

  3. Қажет болса, басқа қорғаныстарды өткізіңіз

    WAF custom rule, Super Bot Fight Mode немесе rate limiting оларды әлі бұғаттаса, бірінші орынға қойылатын, расталған боттар үшін сол функцияларды өткізетін ереже қосыңыз. User agent сәйкестігінен гөрі verified bot өрісін немесе жеткізушінің жарияланған IP ауқымдарын қолданған дұрыс.

Жиі қойылатын сұрақтар

Cloudflare-де қай ЖИ краулерлері бұғатталғанын қай жерден көремін?

Cloudflare панелінде AI Crawl Control бөлімін ашыңыз. Оның краулерлер тізімі Cloudflare доменіңізде көрген әр ЖИ краулерін, оның қанша сұрау жасағанын және әрекеті Allow не Block екенін көрсетеді, әрекетті сол жерде өзгертуге болады. Bot Fight Mode сияқты басқа функциялар рұқсат берген краулерді бәрібір бұғаттауы мүмкін, сондықтан нәтижені краулердің user agent-ін пайдаланатын сұраумен растаңыз.

Cloudflare ЖИ краулерлерін әдепкі бойынша бұғаттай ма?

Бұл аккаунтыңызға, тарифіңізге және аймағыңыздағы баптауларға байланысты, ал Cloudflare бұл опцияларды уақыт өте өзгертіп келеді. Болжап қоймай, AI Crawl Control мен бот баптауларын тексеріп, краулердің user agent атымен тест жасаңыз.

Неге сайтым браузерде жұмыс істейді, ал краулерлер үшін жоқ?

Файрволдар әр сұрауды бағалайды. Браузер JavaScript тексерулерінен өтіп, cookie сақтайды; краулер мұны жасамайды, сондықтан ол сіз ешқашан көрмейтін тексеру бетін немесе 403 алуы мүмкін.

ЖИ краулерлерін WAF арқылы өткізу қауіпсіз бе?

Аталған краулерді жеткізушінің IP ауқымдары немесе Cloudflare-дің verified bot сигналы арқылы растасаңыз, оны өткізу қаупі аз. Тек user agent-ке сенетін ережелер оны көшірген кез келген адамды да өткізеді.

Cloudflare-дің email obfuscation функциясы ЖИ краулерлеріне әсер ете ме?

Ол email мекенжайларын тек скрипт ашып оқи алатын сілтемемен ауыстырады, сондықтан краулерлер мекенжайдың орнына толтырғышты көреді. Байланыс email-іңіз оқылатын болсын десеңіз, Scrape Shield бөліміндегі Email Address Obfuscation функциясын өшіріп, мекенжайды қарапайым мәтін ретінде көрсетіңіз.

Толық нұсқаулықты оқу

Бот қорғанысы скрейперлер мен теріс пайдалануды тоқтату үшін бар және мұны жақсы атқарады. Мәселе — ЖИ іздеу краулерлері де бот. Бірнеше жыл бұрын қосылған қауіпсіздік баптауы, rate limit немесе белгісіз user agent-терге қарсы кең ереже сізге сілтеме беретін краулерлерді байқаусыз кіргізбей тұруы мүмкін, ал өз кірулеріңіз мүлдем қалыпты көрінеді.

Неге файрвол ЖИ краулерлерін бұғаттайды?

Файрволдар әр сұрауды бағалайды. Краулер JavaScript тексерулерін орындамайды, браузер сияқты cookie сақтамайды және көбіне қатарынан көп бет сұрайды, сондықтан ол бот қорғанысы тоқтатуға арналған трафикке дәл ұқсауы мүмкін. Жиі себептер:

  • Белгілі бот үлгілеріне сәйкес келетін трафикке тексеру көрсететін бот қорғаныс функциялары. Мысалы, Cloudflare-дің Bot Fight Mode функциясы боттарға есептеу жағынан ауыр тексерулер ұсынады.
  • Құрамында "bot" немесе "crawler" сияқты сөздер бар user agent-терді бұғаттайтын немесе тексеретін, не тек іздеу жүйелерінің қысқа тізімін өткізетін WAF custom rules.
  • ЖИ краулерлерін санат ретінде бұғаттайтын баптаулар. Cloudflare Search, Agent және Training краулерлері үшін саясат орнатуға мүмкіндік береді, ал ондағы Block баптауы олардың бәріне қолданылады.
  • Краулердің жылдам сұраулар тізбегіне 429-бен жауап беретін rate limiting.
  • Краулерлер жұмыс істейтін желілерді кездейсоқ қамтитын ел немесе ASN бойынша бұғаттаулар.

Файрвол бұғаттауын robots.txt бұғаттауынан қалай ажыратуға болады?

robots.txt бұғаттауы — сыпайы өтініш: краулер ережелеріңізді оқып, бетті алмайды. Файрвол бұғаттауы — жауап: краулер бетті сұрап, басқа нәрсе алады. Екінші түрін тікелей көре аласыз. Бетті екі рет сұраңыз: бір рет браузер user agent-імен, бір рет краулердікімен, сосын салыстырыңыз.

for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
          "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"; do
  curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" https://example.com/page
done

Файрвол бұғаттауының белгілері: тек краулерге берілетін 403, 429 немесе 503 статусы; Just a moment... немесе Attention Required! | Cloudflare деп аталған бет; ішінде /cdn-cgi/challenge-platform бар дене; немесе браузердікінен әлдеқайда қысқа 200 жауабы. Тестіңіз краулердің расталған IP ауқымынан емес, өз IP-іңізден жіберілетінін есте сақтаңыз, сондықтан ол файрволдың user agent-ке қалай қарайтынын көрсетеді, бірақ нақты краулерге қалай қарайтынының барлық егжей-тегжейін көрсетпейді.

Cloudflare-де ЖИ іздеу краулерлерін қалай өткізуге болады?

Барлық тарифте қолжетімді Cloudflare AI Crawl Control доменіңізге келетін ЖИ краулерлерін тізімдеп, әрқайсысына әрекет орнатуға мүмкіндік береді. Басқару панелінде AI Crawl Control бөлімін ашып, Crawlers тізіміне өтіңіз де, әр краулер үшін Action бағанында Allow немесе Block таңдаңыз. Cloudflare онда бұғаттау аймағыңызда WAF custom rule жасайтынын немесе жаңартатынын айтады.

Краулерді WAF custom rule, Super Bot Fight Mode немесе rate limiting бұғаттап тұрса, verified bots және краулер токені үшін сол функцияларды өткізіп жіберетін custom rule қосыңыз:

Security → WAF → Custom rules → Create rule
  Expression: (cf.client.bot) or (http.user_agent contains "OAI-SearchBot")
  Action: Skip → All remaining custom rules, Super Bot Fight Mode, Rate limiting
Also: AI Crawl Control → OAI-SearchBot → Allow

Ережені бірінші орынға қойыңыз. User agent бойынша сәйкестендіру сол user agent-ті жалған пайдаланатын кез келген адамды да өткізетінін ескеріңіз. Мүмкін болса, verified bot өрісін (cf.client.bot) немесе жеткізуші жариялайтын IP ауқымдарын пайдаланыңыз.

Bot Fight Mode ше?

Cloudflare құжаттамасында Bot Fight Mode функциясын WAF custom rules немесе Page Rules арқылы айналып өту не өткізіп жіберу мүмкін емес екені анық айтылған. Краулерлерге тексеру көрсетіп тұрған осы функция болса, skip ережесі көмектеспейді. Нұсқалар: Bot Fight Mode-ты өшіру немесе тарифіңізде бар болса, Ruleset Engine негізінде жұмыс істейтін және skip ережелерін қолдайтын Super Bot Fight Mode пайдалану.

Қай краулерлерді өткізу керек?

Краулерлерді атқаратын жұмысы бойынша бөліңіз. Іздеу және пайдаланушы сұрауы краулерлері ЖИ жауаптары сізді тауып, сілтеме бере ала ма, соны шешеді. Оқыту краулерлері модельдер үшін деректер жинайды, оларды бұғаттау — сізді ЖИ іздеуден алып тастамайтын заңды таңдау.

  • Іздеу: OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot, bingbot, Applebot.
  • Пайдаланушы сұраулары: ChatGPT-User, Claude-User, Perplexity-User.
  • Оқыту: GPTBot, ClaudeBot, CCBot, meta-externalagent, Bytespider.

Cloudflare-дің өз саясат баптаулары да Search, Agent және Training деп бөлінеді, сондықтан алғашқы екеуін өткізіп, үшіншісі туралы бөлек шешім қабылдай аласыз. Басқа файрвол немесе CDN пайдалансаңыз, принцип бірдей: краулер токенін рұқсат тізіміне қосыңыз, мүмкін болса жеткізушінің жарияланған IP ауқымдары немесе reverse DNS арқылы растаңыз, сонда ол браузермен бірдей жауап алады.

AISeeWhy файрвол бұғаттауларын қалай анықтайды?

AISeeWhy бетіңізді 14 краулер және қалыпты браузер ретінде сұрайды, статусты, көлемді және қайта бағыттауларды салыстырады, тексеру беттерін таниды және жауап берген файрвол немесе CDN-ді атайды. robots.txt краулерді рұқсат етіп, сервер оны бұғаттаса, есеп осы қайшылықты көрсетіп, оны түзететін Cloudflare ережесін немесе рұқсат тізіміне қосу қадамын береді.

Бұл мәселені түзету жолдары

Тегін құралдар

Келесі қадамдар

Осы мақаладағы краулерлер

Дереккөздер

Басқа мақалалар

Жарияланды · Жаңартылды