Cloudflare AI Crawl Control есебін қалай оқып, қай ЖИ краулерлері өтетінін көруге болады
Cloudflare панелінде AI Crawl Control бөлімін ашыңыз: краулерлер тізімі Cloudflare доменіңізде көрген әр ЖИ краулерін, оның сұрауларын, robots.txt бұзушылықтарын және әрекеті Allow не Block екенін көрсетеді. ЖИ іздеуде қалып, оқытудан бас тарту үшін іздеу және агент краулерлеріне рұқсат беріп, оқыту краулерлерін сол жерде немесе AI Crawler and Agent access policies бөлімінде бұғаттаңыз не тыйым салыңыз. Содан кейін нәтижені сырттан curl арқылы растаңыз, өйткені Cloudflare-дің басқа функциялары рұқсат берген краулерді бәрібір бұғаттауы мүмкін.
Енді Cloudflare-де ЖИ краулерлері не алатынын шешетін екі орын бар: бұрын AI Audit деп аталған, әр краулерге арналған есеп пен басқару панелі AI Crawl Control және Security баптауларындағы бүкіл аймаққа арналған AI Crawler and Agent access policies саясаттары. Екеуі де Free тарифінде қолжетімді, екеуі де 2026 жылы өзгерді және ешқайсысы краулерге бәрібір 403 кодымен жауап бере алатын басқа функциялардың бәрі туралы айтпайды. Бұл нұсқаулық есепті баған бойынша талдайды, рұқсат пен бұғаттауды қай жерде орнату керегін көрсетеді және өз компьютеріңізден іске қосатын тестпен аяқталады.
Осы бетте
- Cloudflare-де ЖИ краулерлері есебі қайда?
- AI Crawl Control есебіндегі әр баған мен метрика нені білдіреді?
- Cloudflare-де ЖИ іздеу краулерлеріне рұқсат беріп, оқыту краулерлерін қалай бұғаттауға болады?
- Cloudflare-дің ЖИ краулерлеріне арналған әдепкі баптауларында не өзгерді?
- Рұқсат бергеннен кейін неге Cloudflare ЖИ краулерлерін әлі бұғаттап тұр?
- Cloudflare қай ЖИ краулерлерін өткізетінін сырттан қалай растаймын?
- AISeeWhy Cloudflare-дің ЖИ краулерлеріне не жіберетінін қалай тексереді?
Cloudflare-де ЖИ краулерлері есебі қайда?
Панельде аккаунтыңыз бен доменіңізді таңдап, AI Crawl Control бөлімін ашыңыз. Cloudflare айтуынша, ол баптаусыз жұмыс істейді және доменіңіздің трафигі Cloudflare проксиі арқылы өтсе, барлық тарифте қолжетімді. Оның төрт бөлігі бар:
- Overview: сұраулардың жалпы саны, көлем өзгерісі, ең жиі күй коды, ең танымал жол және көлемі үлкен краулерлер бар қысқаша шолу, сондай-ақ Cloudflare басқаратын robots.txt қосулы ма, соны және OpenAI, Microsoft, Google, ByteDance, Anthropic, Meta сияқты операторлар бойынша топталған краулерлерді көрсетеді.
- Краулерлер тізімі: әр ЖИ краулеріне бір жол және Allow не Block таңдайтын Action бағаны. Cloudflare құжаттамасы бұл қойындыны бір бетте Crawlers, екіншісінде Security деп атайды, сондықтан Action бағаны бар кестені іздеңіз.
- Metrics: уақыт бойынша сұраулар, күй кодтарының бөлінуі, мазмұн форматы, ең танымал жолдар және ақылы тарифтерде referral деректері. Сүзгілер кезеңді, краулерді, операторды, хост атын және жолды қамтиды, деректерді CSV-ке экспорттауға болады.
- Directives: robots.txt файлыңыздың күйі және robots.txt бұзушылықтарының тізімі.
Сандарды оқығанда тарифтердің екі шектеуі маңызды. Free тарифінде AI Crawl Control краулерлерді тек user agent жолы бойынша таниды, сондықтан тек өзін таныстыратын краулерлерді ғана көреді, ал Metrics қойындысы соңғы 24 сағатты қамтиды. Ақылы тарифтер Bot Management detection ID арқылы анықтауды қосады, ал Bot Management бар Enterprise тарифінде уақыт аралығын баптауға болады.
AI Crawl Control есебіндегі әр баған мен метрика нені білдіреді?
Cloudflare өрістерді төмендегідей сипаттайды. Анықтамалар маңызды, өйткені бірнеше сан күткеніңізден көбірек нәрсені санайды.
- Crawler және Category: краулер атауы, оның операторы және санаты, мысалы ЖИ краулері, ЖИ ассистенті немесе архиватор.
- Requests: рұқсат етілген және сәтсіз сұраулар қосындысы, үрдіс графигімен. Сәтсіз сұраулар тек AI Crawl Control бұғаттауынан емес, кез келген ережеден немесе жауап қатесінен болуы мүмкін, сондықтан рұқсат берген краулерде бұл сан жоғары болса, басқа ережеге немесе бастапқы серверіңіздегі қателерге назар аударыңыз.
- Allowed requests: 200 мен 299 аралығындағы күй алған сұраулар. Деректер трафигі Cloudflare рұқсат етілген сұрауларға жіберген байттар бойынша өлшенеді.
- Robots.txt violations: краулер robots.txt тыйым салған жолды неше рет сұрағаны. Cloudflare өткен сұрауларды қазіргі ережелеріңізбен салыстырады, сондықтан бүгін қосқан ереже жасалған кезінде рұқсат етілген сұрауларды белгілеуі мүмкін.
- Action: Allow, Block немесе pay per crawl бета нұсқасындағы аккаунттар үшін Charge.
- Күй кодтарының бөлінуі: 2xx, 3xx, 4xx және 5xx. 4xx тобына бұғаттаудан болған 403 және pay per crawl-дан болған 402 кіреді.
- Referrals және top referrers, тек ақылы тарифтерде: ЖИ қызметтерінен, мысалы chatgpt.com-нан келген кірулер және олар түскен беттер.
Есепті өзіңіз таңдаған әрекеттен бастап оқыңыз. Allow қойылған краулерде негізінен рұқсат етілген сұраулар мен 2xx кодтары болуы керек. Сәтсіз сұраулар көп болса, сол краулерге сүзілген күй кодтарының бөлінуін ашыңыз да, жауап берген ережені Security Analytics бөлімінен табыңыз.
Cloudflare-де ЖИ іздеу краулерлеріне рұқсат беріп, оқыту краулерлерін қалай бұғаттауға болады?
Мұны әр краулер бойынша немесе мінез-құлық бойынша жасауға болады. Әр краулер бойынша AI Crawl Control бөлімін ашып, әр жолға Action орнатыңыз. Cloudflare айтуынша, ол жердегі бұғаттау аймағыңызда WAF custom rule жасайды немесе жаңартады, оны WAF-та жолдарға арналған ерекшеліктермен кеңейтуге болады. Ақылы тарифтерде бұғатталған краулерлер 403 не 402 ала ма, соны таңдап, қарапайым мәтінді жауап денесін орнатуға болады.
Мінез-құлық бойынша Security, содан кейін Settings бөліміне өтіп, Bot traffic бойынша сүзіңіз де, AI Crawler and Agent access policies бөлімін ашыңыз. Cloudflare ЖИ трафигін үш мінез-құлыққа бөледі, әр саясат сол мінез-құлқы бар расталған боттарға және сәйкес келетін расталмаған боттарға қолданылады:
- Search: кейін сұрақтарға жауап беру үшін мазмұнды жинау немесе индекстеу.
- Agent: адамның атынан нақты уақытта әрекет ету, мысалы чаттан бет алу және браузер агенттері.
- Training: модельдерді оқыту немесе баптау үшін мазмұн жинау, соның ішінде оқыту үшін де, іздеу үшін де қолданылатын краулерлер.
Әр мінез-құлықты Block, Block on pages with ads немесе Allow (do not block) деп орнатуға болады. Training үшін тағы Disallow бар, ол краулерлерден тек robots.txt арқылы сұрайды. Bot Preference Sync қосулы болса, Cloudflare robots.txt файлыңыздың басына Amazonbot, Applebot-Extended, Bytespider, CCBot, ClaudeBot, Google-Extended, GPTBot және meta-externalagent агенттеріне тыйым салатын басқарылатын ережелерді қосады, Content Signals жолын қосады және ЖИ оқыту краулерлерін желі шетінде де бұғаттайды, тек іздеу үшін де, оқыту үшін де қолданылатын краулерлерден басқасын.
ЖИ дереккөз сілтемелерін қалайтын көп сайт үшін қауіпсіз үйлесім: Search пен Agent — Allow, Training — Disallow, содан кейін желі шетінде тоқтатқыңыз келетін тек оқытуға арналған краулерлер үшін AI Crawl Control-да жеке Block әрекеттері.
Cloudflare-дің ЖИ краулерлеріне арналған әдепкі баптауларында не өзгерді?
2025 жылғы 1 шілдеде Cloudflare ЖИ краулерлері авторларға төлемесе, оларды әдепкі бойынша бұғаттауға көшетінін жариялады. 2026 жылғы 1 шілдеде ол жалғыз Block AI bots ауыстырғышын Free тарифін қоса барлық тарифтер үшін жоғарыда сипатталған жеке Search, Agent және Training саясаттарымен алмастырды. Сол хабарландыруда 2026 жылғы 15 қыркүйектен бастап қосылатын жаңа домендерде жарнама көрсетілетін беттерде Training мен Agent бұғатталатыны, ал Search рұқсат етілетіні айтылды.
Cloudflare-дің 2026 жылғы 2 қарашада соңғы рет жаңартылған қазіргі саясат құжаттамасында жаңа домендерде үш мінез-құлықтың бәріне әдепкі бойынша Allow (do not block) тұратыны айтылған. Cloudflare-дің өз беттері әр уақытта әртүрлі әдепкі баптауларды сипаттағандықтан, аймағыңыз үшін олардың ешқайсысына сенбеңіз: саясат бетін ашып, не орнатылғанын қараңыз.
Рұқсат бергеннен кейін неге Cloudflare ЖИ краулерлерін әлі бұғаттап тұр?
AI Crawl Control-дағы Allow әрекеті тек AI Crawl Control-дың бұғаттауын тоқтатады. Сұрауға басқа функциялар бәрібір әсер етеді. Жиі себептер:
- Training бұғаттауы екеуін де жасайтын іздеу краулерлерін де бұғаттайды. Cloudflare құжаттамасы Training әрекеттері аралас мақсатты краулерлерге қолданылатынын айтады, ал оның 2026 жылғы шілдедегі хабарландыруы Training бұғаттайтын клиенттер 2026 жылғы 15 қыркүйектен бастап бұғаттайтын краулерлер ретінде Googlebot, Applebot және bingbot-ты атайды. Disallow тарырақ таңдау, өйткені оның желі шетіндегі бұғаттауы аралас мақсатты краулерлерді өткізіп жібереді.
- Bot Fight Mode қосулы. Cloudflare Bot Fight Mode-ты WAF custom rules немесе Page Rules арқылы айналып өтуге не өткізіп жіберуге болмайтынын айтады. Ол краулерге тексеру жіберсе, оны өшіріңіз, немесе ол бар тарифте skip ережелерін қолдайтын Super Bot Fight Mode-ты пайдаланыңыз.
- Ескі WAF custom rule құрамында
botбар user agent-терді бұғаттайды немесе жылдамдықты шектеу ережесі сұраулар толқынына 429 кодымен жауап береді. Бұлар AI Crawl Control-дағы Action мәніне қарамастан орындалады. - Бұғаттау ережесі қолмен өзгертілген. AI Crawl Control артындағы WAF ережесі басқа жауап кодына ауыстырылса, панель таңдауыңызды енді орындай алмайды.
- robots.txt краулерге әлі тыйым салады. Cloudflare-дегі Allow robots.txt файлыңызды өзгертпейді, сондықтан әдепті краулер бәрібір кірмейді. Ең танымал 1000 доменді зерттеуімізде robots.txt-те ЖИ оқыту краулерін бұғаттаған 155 сайттың 98-і кемінде бір ЖИ іздеу немесе пайдаланушы краулерін де бұғаттаған.
Cloudflare қай ЖИ краулерлерін өткізетінін сырттан қалай растаймын?
Бір бетті браузердің user agent-імен және әр краулердің user agent-імен сұрап, күй мен өлшемді салыстырыңыз. Төмендегі OpenAI, Perplexity және Google жолдары — сол компаниялар жариялаған жолдар.
URL=https://example.com/
check() { printf '%-16s %s\n' "$1" "$(curl -s -o /dev/null -w '%{http_code} %{size_download} bytes' -A "$2" "$URL")"; }
check browser "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36"
check GPTBot "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot"
check OAI-SearchBot "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"
check PerplexityBot "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"
# Anthropic publishes the token, not a full user agent string
check ClaudeBot "Mozilla/5.0 (compatible; ClaudeBot)"
check Googlebot "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" Краулер жолында 403, 429 немесе 503 болса, не өлшемі браузер жолынан әлдеқайда кіші болса, бастапқы сервер алдындағы бір нәрсе басқаша жауап бергенін білдіреді. Free тарифінде AI Crawl Control краулерлерді user agent бойынша анықтайды, сондықтан бұл тест оның бұғаттауларын ақылға қонымды тексереді. Расталған бот күйіне немесе бот ұпайларына негізделген ережелер сұрауыңызды нақты краулерден басқаша өңдеуі мүмкін, өйткені ол оператордың жарияланған ауқымдарынан емес, сіздің IP мекенжайыңыздан келеді. Тесттен кейін Security Analytics-тен өз сұрауларыңызды тауып, қай ереже сәйкес келгенін қараңыз.
AISeeWhy Cloudflare-дің ЖИ краулерлеріне не жіберетінін қалай тексереді?
Тегін AISeeWhy тексеруі бетіңізді нақты браузермен қатар 16 ЖИ және іздеу краулері ретінде сұрап, әр краулерге robots.txt файлыңызды қолданады және файрволдың тексеру беттерін таниды, сондықтан Cloudflare панеліндегі нәтиже краулерлер шын мәнінде алатынмен сәйкес келе ме, соны көресіз.
Бұл мәселені түзету жолдары
Келесі қадамдар
- ЖИ краулерлеріне арналған robots.txt тестері мен тексерушісі
- ЖИ краулерінің IP тексеруі
- Толық есептің мысалын қараңыз
- ЖИ краулерлерін бақылау
- Жоспарлар мен бағалар
Осы мақаладағы краулерлер
Жиі қойылатын сұрақтар
Cloudflare AI Crawl Control тегін бе?
Иә. Cloudflare AI Crawl Control барлық тарифте қолжетімді деп көрсетеді. Free тарифі краулерлерді тек user agent бойынша анықтайды және Metrics-те соңғы 24 сағатты көрсетеді; referral деректері мен бұғаттаудың жеке жауаптары үшін ақылы тариф керек.
Cloudflare AI Audit-ке не болды?
Оның атауы өзгерді. Cloudflare құжаттамасы AI Crawl Control-ды бұрынғы AI Audit деп сипаттайды, мақсаты сол: қай ЖИ краулерлері кіретінін көру және әрқайсысына әрекет орнату.
AI Crawl Control-да краулерді бұғаттау robots.txt файлымды өзгерте ме?
Жоқ. Block әрекеті WAF custom rule жасайды немесе жаңартады. robots.txt тек Training үшін Bot Preference Sync-пен Disallow опциясын пайдалансаңыз ғана өзгереді, ол Cloudflare-дің басқарылатын ережелерін файлыңыздың басына қосады.
Cloudflare-де robots.txt бұзушылығы деп не саналады?
ЖИ краулерінің robots.txt тыйым салған жолға жасаған сұрауы. Cloudflare өткен сұрауларды қазіргі ережелеріңізбен салыстырады, сондықтан жаңа ереже сол кезде рұқсат етілген ескі сұрауларды белгілеуі мүмкін.
Pay per crawl дегеніміз не?
ЖИ краулерлерінен әр сұрау үшін төлем сұрайтын, әйтпесе HTTP 402 кодымен және бағамен жауап беретін Charge әрекеті. Cloudflare оны жабық бета деп сипаттайды, ал WAF немесе Bot Management бұғаттаулары одан басым.
Дереккөздер
- Cloudflare: AI Crawl Control
- Cloudflare: Get started with AI Crawl Control
- Cloudflare: Manage AI crawlers
- Cloudflare: Analyze AI traffic
- Cloudflare: Track robots.txt
- Cloudflare: What is pay per crawl
- Cloudflare: AI Crawler and Agent access policies
- Cloudflare: Managed robots.txt
- Cloudflare: Bot Fight Mode
- Cloudflare: Verified bots
- Cloudflare changelog: New options to manage AI traffic
- Cloudflare blog: Your site, your rules: new AI traffic options for all customers
- Cloudflare blog: Content Independence Day: no AI crawl without compensation
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers
- AISeeWhy: ЖИ краулерлерінің қолжетімділігі туралы есеп, 2026-11