Неге сайтым кенеттен ЖИ краулерлерін бұғаттай бастады?
ЖИ краулерлерін бұғаттай бастаған сайтта өзгеріс әрдайым дерлік бес жердің бірінде болады: шын мәнінде жіберілетін robots.txt, Cloudflare-дің ЖИ краулер саясаттары сияқты CDN баптауы, бот қорғанысы немесе сұрау жиілігін шектеу, хостингтің әдепкі баптауы немесе енді қатемен жауап беретін robots.txt. Бүгінгі robots.txt-ті және бетті әр краулер ретінде алып, оларды браузермен және бұрын болған нұсқамен салыстырыңыз, сосын осы қабаттарды осы ретпен тексеріңіз.
ЖИ жауаптарынан жоғалуды ешкім әдейі шешпейді. Бұл тақырыпты жаңарту, қауіпсіздік баптауы, көшіру немесе провайдердің әдепкі баптауы өзгеруінің жанама әсері ретінде болады. Браузер сайтты бұрынғыдай қалыпты көреді, сондықтан біреу ChatGPT немесе Perplexity-ден өнім туралы сұрап, бәсекелесті көрмейінше, өзгеріс байқалмай қалуы мүмкін. Әр қабат сырттан немесе журналдардан тексеруге болатын із қалдырады.
Осы бетте
- Краулерлер алатын robots.txt өзгерді ме?
- Cloudflare-дің 2026 жылғы ЖИ краулер саясаттары сайтымның рұқсаттарын өзгертті ме?
- Бот қорғанысы немесе сұрау жиілігін шектеу краулерлерді ұстап қала ма?
- Хостинг провайдерім әдепкі баптауларын өзгертті ме?
- robots.txt қатемен жауап бере ме?
- Бұл қашан басталғанын қалай білемін?
- Келесі жолы мұны қалай ертерек байқаймын?
Краулерлер алатын robots.txt өзгерді ме?
https://yourdomain.com/robots.txt файлын алып, оны репозиторийдегі немесе сақтық көшірмедегі файлмен салыстырыңыз. Дискідегі емес, жіберілетін файлды қараңыз, өйткені жолда оны бірнеше қабат өзгертуі мүмкін:
- Деплой
Disallow: /бар staging robots.txt-ті жариялайды немесе көшіру платформаның әдепкі файлын қалдырады. - Сайт құрастырушының баптауы ЖИ краулерлеріне ережелер қосады. Мысалы, Squarespace-те Block known artificial intelligence crawlers опциясы бар: ол robots.txt-ке 26 бот атауын жазады және уақыт өте көбірек қосылуы мүмкін екенін айтады. Әдепкі бойынша ол өшірулі, сондықтан оны біреу қосуы керек, бірақ кейін тізім ұлғаюы мүмкін.
- SEO немесе қауіпсіздік плагинінің жаңартуы жаңа ережелер жазады немесе біреу қосатын жаңа опция қосады.
- Bot Preference Sync қосулы болып, ЖИ саясаты Block немесе Disallow мәніне қойылса, Cloudflare өзінің басқарылатын robots.txt-ін файлыңыздың басына қосады. Сонда жіберілетін файл
ClaudeBot,GPTBotжәне тағы алты оқыту токені үшінDisallow: /жолымен басталады, ал сіздің файлыңыз өзгермеген. - Оқыту краулеріне арналған ереже басқаларға, соның ішінде
OAI-SearchBot,Claude-SearchBotнемесеPerplexityBotсияқты іздеу краулерлеріне де көшірілген.
Google Search Console-дағы robots.txt есебі Google соңғы 30 күнде алған нұсқаларды көрсетеді, файл немесе алу нәтижесі өзгерген сайын жаңа жазба қосылады. Ол тек Google көргенді қамтиды, бірақ серверіңіз robots.txt-ті user agent-ке қарай өзгертпесе, ЖИ краулерлері де сол файлды алған.
Cloudflare-дің 2026 жылғы ЖИ краулер саясаттары сайтымның рұқсаттарын өзгертті ме?
Cloudflare ЖИ краулерлерін басқаруды бірнеше рет өзгертті, ал кейбір өзгерістер аймақтың (zone) мінез-құлқын ешкім өңдемесе де өзгертеді. 2025 жылғы 1 шілдеде ол жаңа домендерден тіркелу кезінде ЖИ краулерлеріне рұқсат беру керек пе деп сұрай бастады, бастапқы күй бұғаттау болды. 2026 жылғы 1 шілдеде ол жалғыз Block AI bots қосқышын Free-ді қоса алғанда барлық тарифтер үшін бөлек Search, Agent және Training саясаттарымен алмастырды.
Сайттардың көбі сүрінетін тұс — аралас мақсатты краулерлер. Cloudflare құжаттамасында Training әрекеттері іздеуге де, оқытуға да пайдаланылатын краулерлерге қолданылатыны айтылған. Оның 2026 жылғы шілдедегі хабарландыруында 2026 жылғы 15 қыркүйектен бастап Training-ті бұғаттауды таңдаған клиенттер үшін, жаңа опциялар арқылы болсын, ескі Block AI bots баптауы арқылы болсын, Googlebot, Applebot және BingBot сияқты көп мақсатты краулерлер бұғатталатыны айтылды. Сондықтан бір жыл бұрын қойылған оқытудан бас тарту енді іздеу краулерлеріне де жетуі мүмкін.
Жаңа домендердің әдепкі баптаулары уақыт өте әртүрлі сипатталды. Сол хабарландыруда 2026 жылғы 15 қыркүйектен бастап жаңа домендерде жарнама көрсететін беттерде Training мен Agent бұғатталатыны айтылса, 2026 жылғы 2 қарашада жаңартылған саясат құжаттамасы жаңа домендер үшеуін де Allow күйінде бастайтынын айтады. Security, содан кейін Settings бөлімін ашып, Bot traffic бойынша сүзіп, өз аймағыңыздың AI Crawler and Agent access policies баптауларын оқыңыз. Cloudflare AI Crawl Control туралы нұсқаулығымыз әр баптауды түсіндіреді.
Бот қорғанысы немесе сұрау жиілігін шектеу краулерлерді ұстап қала ма?
Бот қорғанысы әр сұрауды бағалайды, ал краулерлер дата-орталықтардан көп бетті тез алады — боттар дәл осылай істейді. Өткен айда өткен краулер операторы IP ауқымдарын немесе жинау жиілігін өзгерткеннен кейін, не қорғаныс ережелері жаңартылғаннан кейін тексеру беттерін ала бастауы мүмкін. Жиі себеп — Cloudflare-дің Bot Fight Mode режимі, ал Cloudflare оны WAF-тың өз ережелерімен немесе Page Rules арқылы айналып өтуге не өткізіп жіберуге болмайтынын айтады, сондықтан ол қосулы тұрғанда кейін қосылған рұқсат ережесі көмектеспейді. Сұраулар легіне 429 кодымен жауап беретін жаңа жиілік шектеуі белсенді краулерге дәл сондай әсер етеді.
Сырттан тексеріңіз: бетті браузер ретінде және екі ЖИ іздеу краулері ретінде сұраңыз, содан кейін robots.txt-ті краулер ретінде сұраңыз.
URL=https://example.com/page
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
"Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"; do
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" "$URL"
done
# robots.txt itself, as a crawler
curl -s -o /dev/null -w "%{http_code} %{content_type}\n" \
-A "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)" \
https://example.com/robots.txt Тек краулерге келген 403, 429 немесе 503, Just a moment... тақырыпты бет немесе браузердікінен әлдеқайда кіші жауап краулерге басқаша қарайтынын білдіреді. Тест жеткізушінің емес, сіздің IP-іңізден жіберіледі, сондықтан расталған бот мәртебесіне негізделген ережелер нақты краулерге бәрібір басқаша қарауы мүмкін. Қай ереже жауап бергенін файрвол оқиғалар журналы көрсетеді.
Хостинг провайдерім әдепкі баптауларын өзгертті ме?
Кейбір хостингтер ЖИ трафигін сіздің ережелеріңіз іске қосылмай тұрып, серверде сүзеді. Мысалы, SiteGround 2025 жылғы тамызда оқыту деректерін жинауға арналған ЖИ краулерлерін әдепкі бойынша бұғаттайтынын, ал адам ЖИ ассистентінен бет туралы сұрағанда келетін краулерлерге рұқсат беретінін жазды. Мұндай ережелер robots.txt-те көрінбейді және хостинг бот тізімдерін жаңартқанда өзгеруі мүмкін.
Бұғаттау бір хостингтегі бірнеше сайтта бір мезгілде пайда болса немесе қолданба журналдарыңызға ешқашан жетпейтін жауаптарда болса, хостингтен аккаунтыңызға қай бот ережелері қолданылатынын және сақтағыңыз келетін краулерлерді ерекшелікке қосуға бола ма, соны сұраңыз.
robots.txt қатемен жауап бере ме?
Жүктелмейтін robots.txt кез келген Disallow жолынан көбірек бұғаттауы мүмкін. RFC 9309 бойынша 4xx жауабы краулер бәрін ала алады дегенді білдіреді, ал сервер қатесі (5xx) немесе мүлде жауап болмауы ол бүкіл сайтқа тыйым салынған деп есептеуі керек дегенді білдіреді. Google мұндай қателердің алғашқы 12 сағатында жинауды тоқтатады, содан кейін 30 күнге дейін соңғы дұрыс көшірмені пайдаланады.
Осылайша жүктеменің күрт өсуі, /robots.txt үшін тексеру көрсететін файрвол ережесі немесе оны да қамтитын жиілік шектеуі бірде-бір ереже өзгермей-ақ тәртіпті краулерлерді сыртта қалдыруы мүмкін. Жоғарыдағы тесттің соңғы пәрмені 200 және text/plain қайтаруы керек. Онда 5xx, күту уақытының бітуі немесе тексеру беті шықса, алдымен соны түзету керек.
Бұл қашан басталғанын қалай білемін?
Күн белгілі болса, жұмбақ айырманы салыстыруға айналады. Кіру журналдарында ЖИ краулерлерінің user agent-терінен келген сұрауларды сүзіп, олардың күй кодтары 200-ден 403, 429 немесе 503-ке ауысқан күнді, не олар robots.txt-ті оқығаннан кейін беттерді сұрауды тоқтатқан күнді іздеңіз; пәрмендер ЖИ краулерлері үшін сервер журналдарын тексеру туралы нұсқаулығымызда бар. CDN бұғаттаған сұраулар origin-ге ешқашан жетпейді, сондықтан CDN-ді де тексеріңіз. Cloudflare-де AI Crawl Control краулер бойынша сүзуге болатын күй кодтарының уақыт бойынша үлестірімін көрсетеді.
Содан кейін сол күнді деплойлармен, плагин мен тақырып жаңартуларымен, CDN баптауларының өзгерістерімен және провайдерлер хабарландыруларымен салыстырыңыз. Әрекет етпес бұрын бастапқы IP-лер жеткізушіге тиесілі екенін растаңыз, сонда оның атын жамылған алаяқты емес, нақты краулерді қарап отырасыз.
Келесі жолы мұны қалай ертерек байқаймын?
Қолжетімділікті тек трафик төмендегенде емес, әр деплойдан, CDN өзгерісінен және плагин жаңартуынан кейін тексеріңіз. Тегін AISeeWhy тексеруі бетті нақты браузермен қатар 16 ЖИ және іздеу краулері ретінде сұрайды, әр краулерге robots.txt файлыңызды қолданады және файрволдың тексеру беттерін таниды. Тегін robots.txt тестері әр краулер үшін бүгін жұмыс істеп тұрған файл бойынша бетті алуға бола ма, соны көрсетеді.
Келесі қадамдар
- ЖИ краулерлеріне арналған robots.txt тестері мен тексерушісі
- ЖИ краулерінің IP тексеруі
- Толық есептің мысалын қараңыз
- ЖИ краулерлерін бақылау
- Жоспарлар мен бағалар
Осы мақаладағы краулерлер
Жиі қойылатын сұрақтар
Неге ChatGPT сайтымды көрсетуді тоқтатты?
Көбіне ChatGPT іздеуінің артындағы краулер OAI-SearchBot robots.txt өзгерісі, CDN саясаты немесе бот қорғанысы салдарынан бұғатталып қалғандықтан. OpenAI оны бұғаттайтын сайттар ChatGPT іздеу жауаптарында көрінбейтінін айтады. Сол краулер үшін әр қабатты тексеріп, robots.txt түзетілгеннен кейін шамамен 24 сағат күтіңіз — OpenAI-дың айтуынша, оның жүйелеріне бейімделуге сонша уақыт керек.
Cloudflare сайтымда Googlebot-ты бұғаттай бастады ма?
Бұл мүмкін. Cloudflare 2026 жылғы 15 қыркүйектен бастап Training-ті бұғаттайтын клиенттер Googlebot, Applebot және BingBot сияқты көп мақсатты краулерлерді де бұғаттайтынын айтты. Оның құжаттамасында Training үшін Disallow опциясы оқыту краулерлерін edge деңгейінде бұғаттайтыны, бірақ аралас мақсатты краулерлерді қамтымайтыны айтылған, сондықтан аймағыңыз қай опцияны пайдаланатынын тексеріңіз.
Сайт құрастырушы немесе плагин robots.txt-ті мен үшін өзгерте ала ма?
Иә. Сайт құрастырушылар мен SEO не қауіпсіздік плагиндері robots.txt-ке ЖИ краулер ережелерін жаза алады, ал кейбірі бот тізімдерін уақыт өте кеңейтеді. Әр жаңартудан кейін жұмыс істеп тұрған файлды алып, сізге маңызды іздеу краулерлеріне қолданылатын топтарды оқыңыз.
Неге жұмыс істеп тұрған robots.txt сервердегі файлдан өзгеше?
Сервердің алдында тұрған бір нәрсе оны өзгертеді. Мысалы, Cloudflare-дің басқарылатын robots.txt-і сол жауапта файлыңыздың басына өз ережелері мен мазмұн сигналдарын қосады. robots.txt-ті сұрау кезінде жасайтын CMS немесе хостинг деңгейіндегі баптау да оны ауыстыруы не толықтыруы мүмкін.
Түзеткеннен кейін ЖИ краулерлері қанша уақытта қайтып келеді?
RFC 9309 краулерлер кэштегі robots.txt-ті 24 сағаттан артық пайдаланбауы керек дейді, OpenAI шамамен 24 сағат, ал Perplexity 24 сағатқа дейін дейді. Файрвол өзгерістері провайдер оларды іске қосқан бойда күшіне енеді, бірақ краулерлер өз кестесімен қайтады.
Дереккөздер
- RFC 9309: Robots Exclusion Protocol
- Google: How Google interprets the robots.txt specification
- Google Search Console Help: robots.txt report
- Cloudflare press release: Cloudflare just changed how AI crawlers scrape the internet-at-large
- Cloudflare blog: Your site, your rules: new AI traffic options for all customers
- Cloudflare changelog: AI traffic options (2026-07-01)
- Cloudflare: AI crawler and agent access policies
- Cloudflare: Managed robots.txt
- Cloudflare: Bot Fight Mode
- Cloudflare: Analyze AI traffic (AI Crawl Control)
- Squarespace Help: Request that AI models exclude your site
- SiteGround blog: The pros and cons of AI bot crawling
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers