ЖИ краулерлерін бұғаттамай, қалай баяулатуға болады
Бұғаттаудың орнына жиілікті шектеңіз. Краулерлердің артық сұрауларына 429 немесе 503 және Retry-After тақырыптамасымен жауап беріңіз, әр краулерге өз лимитін беріңіз, /robots.txt файлын кез келген шектеуден тыс қалдырыңыз және краулерлерге беттерді кэштен беріңіз. robots.txt-тегі Crawl-delay тек оператор оны құжаттаған жерде көмектеседі: Anthropic пен Bing құжаттайды, Google оны қолдамайтынын айтады, ал OpenAI мен Perplexity оны атамайды. ЖИ іздеу краулерлеріне рұқсатты қалдырыңыз, әйтпесе олар қоректендіретін жауаптардан да шығып қаласыз.
Краулер сағатына мыңдаған сұрау жібергенде, жылдам шешім — Disallow: / немесе файрволмен бұғаттау. Оқыту краулері үшін бұл орынды таңдау болуы мүмкін. Ал OAI-SearchBot, Claude-SearchBot немесе PerplexityBot үшін бұл беттеріңізді өзіңіз шыққыңыз келетін ЖИ жауаптарынан алып тастайды. Көбінесе жүктемені одан бас тартпай-ақ, краулерлер бұрыннан түсінетін сигналдармен азайтуға болады: күй кодтары, кэштеу және кейбір операторлар үшін Crawl-delay.
Осы бетте
- Жүктемені шын мәнінде қай краулер тудырады?
- Crawl-delay ЖИ краулерлеріне жұмыс істей ме?
- 429 және 503 жауаптары краулерлерді қалай баяулатады?
- ЖИ краулерлеріне сұрау жиілігін шектеуді қалай орнатамын?
- Кэштеу краулер жүктемесін азайта ма?
- Краулерлерді баяулатқанда неден аулақ болу керек?
- Краулерлер әлі де өте ме, қалай тексеремін?
Жүктемені шын мәнінде қай краулер тудырады?
Бірдеңені өзгертпес бұрын қараңыз. Кіру журналдарында сұрауларды user agent және сағат бойынша санап, бастапқы IP-лерді әр жеткізуші жариялайтын ауқымдармен салыстырыңыз; пәрмендер ЖИ краулерлері үшін сервер журналдарын тексеру туралы нұсқаулығымызда бар. Жиі екі нәрсе анықталады:
- Ауыр трафик тек өзін ЖИ краулері деп атайды. IP-лер жеткізуші тізімінде болмаса, нақты краулерге арналған ережелер көмектеспейді. Оның орнына бұл трафикті шыққан жері бойынша шектеңіз немесе бұғаттаңыз.
- Нақты краулер жинау тұзағына түскен, мысалы шексіз күнтізбе беттеріне, сүзгі комбинацияларына немесе URL-дердегі сессия ID-леріне. Тұзақты сол жолдарға арналған
Disallowережелерімен жабу кез келген жиілік шектеуінен көбірек үнемдейді.
Краулерлерді міндетіне қарай да сұрыптаңыз. GPTBot және ClaudeBot сияқты оқыту краулерлері сізге ЖИ іздеуде сілтеме алуға мүмкіндік беретіндер емес, сондықтан мәселе солардың бірінде болса, оған тыйым салу орынды нұсқа. Бұл нұсқаулықтың қалған бөлігі сақтағыңыз келетін краулерлерге арналған.
Crawl-delay ЖИ краулерлеріне жұмыс істей ме?
Crawl-delay RFC 9309-ға кірмейді, сондықтан оны оқу-оқымауды әр оператор өзі шешеді. 2026 жылғы қарашадағы жағдай бойынша құжаттама мынаны айтады:
- Anthropic: қолдайды. Оның анықтама беті жинау белсенділігін шектеу үшін стандартты емес
Crawl-delayкеңейтімін қолдайтынын айтады, мысал ретіндеClaudeBotтобындағыCrawl-delay: 1берілген. - Microsoft Bing: қолдайды. Bing вебмастерлер блогы мәнді 1-ден 30 секундқа дейінгі уақыт терезесі ретінде сипаттайды, онда
bingbotең көбі бір бет жинайды, және robots.txt-тегі crawl delay Bing Webmaster Tools-тағы жинау баптауларынан басым екенін айтады. - Google: қолдамайды. Google-дың robots.txt құжаттамасы
crawl-delayөрісін өзі қолдамайтын өріс ретінде атайды. - OpenAI мен Perplexity: олардың краулер беттері оны атамайды, сондықтан оның
GPTBot,OAI-SearchBotнемесеPerplexityBotагентіне әсері құжатталмаған.
User-agent: ClaudeBot
Crawl-delay: 5
Disallow: /search/
Disallow: /cart/
User-agent: *
Disallow: /search/
Disallow: /cart/ Топ логикасына назар аударыңыз. Өз атымен аталған топты тапқан краулер User-agent: * тобын толығымен елемейді, сондықтан тек Crawl-delay бар ClaudeBot тобы басқалардың бәріне қойған әр Disallow ережесін жояр еді. Оларды жоғарыдағыдай қайталаңыз. Bing Crawl-delay жолын кез келген топтан оқитын ерекшелік ретінде сипаттайды, бірақ басқа краулерлер үшін мұны болжамаңыз.
429 және 503 жауаптары краулерлерді қалай баяулатады?
Жүктеме шыңдары үшін краулерлер құрметтеуге арналып жасалған сигнал — күй коды. RFC 6585-те анықталған 429 Too Many Requests клиент белгілі бір уақытта тым көп сұрау жібергенін білдіреді және қанша күту керектігін айтатын Retry-After тақырыптамасын қамтуы мүмкін. 503 Service Unavailable сервер дәл қазір үлгермейтінін айтады.
Google мұны Googlebot-тың жинау жиілігін тез азайту жолы ретінде құжаттайды: кейбір жинау сұрауларына 200 орнына 500, 503 немесе 429 қайтарыңыз. Оның айтуынша, бұл бүкіл хост атауы үшін жинау жиілігін төмендетеді, ал Retry-After секунд санын немесе күнді қамтуы мүмкін.
HTTP/1.1 429 Too Many Requests
Retry-After: 120
Content-Type: text/plain
Too many requests, please retry later. Мұны қысқа ұстаңыз. Google мұны бір-екі күннен артық жасамауға кеңес береді, өйткені бұл кодтарды бірнеше күн қайтаратын URL оның индексінен шығарылуы мүмкін. Ұзақ азайту үшін Google оның орнына Search Console арқылы арнайы сұрау ұсынады.
OpenAI, Anthropic және Perplexity өз краулерлері 429, 503 немесе Retry-After жауабына қалай әрекет ететінін құжаттамайды. Бұл кодтар азырақ сұраудың стандартты жолы, бірақ әр ЖИ краулері қаншалықты тез баяулайтынын еш жерден біле алмайсыз.
ЖИ краулерлеріне сұрау жиілігін шектеуді қалай орнатамын?
Барлық трафикке бір лимит орнына әр краулерге өз лимитін беріп, одан асқан сұрауларға 429 кодымен жауап беріңіз. nginx-те мұны limit_req модулі жасайды. Кілті бос сұраулар саналмайды, сондықтан тек краулер user agent-тері үшін кілт қайтаратын map адам келушілерге әсер етпейді. Мұнда әр краулер минутына 60 сұрау және 20 burst алады:
# In the http block
map $http_user_agent $ai_crawler {
default "";
~*GPTBot gptbot;
~*OAI-SearchBot oai-searchbot;
~*ClaudeBot claudebot;
~*Claude-SearchBot claude-searchbot;
~*PerplexityBot perplexitybot;
}
limit_req_zone $ai_crawler zone=ai_crawlers:10m rate=60r/m;
# In the server block
location = /robots.txt {
# serve robots.txt as before, without limit_req
}
location / {
limit_req zone=ai_crawlers burst=20 nodelay;
limit_req_status 429;
# ... your existing configuration
} Мұнда кілт — user agent, сондықтан краулер атын көшірген кез келген адам сол краулердің лимитін бөліседі. Жиілік шектеуі үшін бұл қолайлы. Рұқсат ережесі үшін жеткізуші жариялаған IP ауқымдарын да салыстырыңыз.
Cloudflare-де дәл сол жұмысты edge деңгейінде rate limiting ережелері атқарады. Free тарифінде 10 секунд ішінде IP бойынша санайтын бір ереже бар, ал ереже өрнегінде жолды және Verified Bot өрісін пайдалануға болады. Сұрауларды көп мекенжайға тарататын краулерлер үшін IP бойынша санау өрескел, ал жоғары тарифтер санаудың көбірек опцияларын қосады. Әдепкі жауап — 429, басқа 4xx кодын және өз мәтініңізді қоюға болады. AI Crawl Control әр краулер үшін Allow, Block және жабық бета нұсқасында Charge ұсынады, бірақ жылдамдық баптауы жоқ.
Не пайдалансаңыз да, /robots.txt файлын шектеуден тыс қалдырыңыз. RFC 9309 бойынша robots.txt үшін сервер қатесі краулер бүкіл сайтқа тыйым салынған деп есептеуі керек дегенді білдіреді, ал Google 429 кодын файл жоқ деп санайтын 4xx кодтарынан алып тастайды.
Кэштеу краулер жүктемесін азайта ма?
Көбіне жиілік шектеуінен де көп. Краулерлер негізінен әр келушіге бірдей ашық беттерді сұрайды, сондықтан оларды CDN-нен немесе бет кэшінен беру қымбат рендерді арзан hit-ке айналдырады. Кэшіңіз краулер user agent-тері үшін бөлек, кэштелмейтін нұсқа сақтамайтынын тексеріңіз.
Шартты сұраулар да көмектеседі. Google өз краулерлері ETag пен If-None-Match, сондай-ақ Last-Modified пен If-Modified-Since арқылы HTTP кэштеуді қолдайтынын және екеуі де болса ETag пайдаланатынын айтады. OpenAI, Anthropic және Perplexity краулер беттері олардың краулерлері шартты сұраулар жібере ме, жоқ па, айтпайды, сондықтан бұл үнемге тек Google үшін сеніңіз.
Краулерлерді баяулатқанда неден аулақ болу керек?
- Жеткізушінің IP ауқымдарын файрволда бұғаттаудан. Anthropic бұл дұрыс жұмыс істемеуі немесе бас тартуды сақтай алмауы мүмкін екенін ескертеді, өйткені бұл оның боттарына robots.txt файлыңызды оқуға кедергі келтіреді.
- Күндер бойы
5xxнемесе429қайтарудан. Google оларды қайтара беретін URL-дер оның индексінен шығарылуы мүмкін екенін айтады. - Бот қорғанысын жылдамдық реттегіш ретінде пайдаланудан. Cloudflare-дің Bot Fight Mode режимі боттарға есептеуі қымбат тексерулер береді және оны WAF-тың өз ережелерімен өткізіп жіберу мүмкін емес, сондықтан сақтағыңыз келетін краулерлерді ерекшелікке қоса алмайсыз.
- Өткізу қабілетін үнемдеу үшін іздеу краулеріне тыйым салудан.
OAI-SearchBot,Claude-SearchBotнемесеPerplexityBotүшінDisallowсізді сол краулерлер қоректендіретін жауаптардан шығарады.
Краулерлер әлі де өте ме, қалай тексеремін?
Лимиттерді тым қатаң қою оңай. Тегін AISeeWhy тексеруі бетті нақты браузермен қатар 16 ЖИ және іздеу краулері ретінде сұрайды, әр краулерге robots.txt файлыңызды қолданады және файрволдың тексеру беттерін таниды, сондықтан краулерлерге браузерлерден басқаша жауап беретін ереже бірден көрінеді. Әр краулерге бір сұрау ақылға қонымды лимитке ілікпейді, мәні де сонда: ережелерді өзгерткеннен кейін оны іске қосып, қалыпты сұраулар әлі де өтетініне көз жеткізіңіз. Тегін ЖИ краулері IP тексеруі журналдарыңыздағы IP шынымен GPTBot немесе басқа краулерге тиесілі ме, соны айтады.
Келесі қадамдар
- ЖИ краулерлеріне арналған robots.txt тестері мен тексерушісі
- ЖИ краулерінің IP тексеруі
- Толық есептің мысалын қараңыз
- ЖИ краулерлерін бақылау
- Жоспарлар мен бағалар
Осы мақаладағы краулерлер
Жиі қойылатын сұрақтар
Google Crawl-delay-ді қолдай ма?
Жоқ. Google-дың robots.txt құжаттамасы crawl-delay өрісін өзі қолдамайтын өрістер қатарында атайды. Googlebot-ты қысқа уақытқа баяулату үшін кейбір сұрауларға 503, 500 немесе 429 қайтарыңыз; ұзағырақ азайту үшін Google Search Console арқылы арнайы сұрау ұсынады.
ClaudeBot Crawl-delay-ді ескере ме?
Anthropic стандартты емес Crawl-delay кеңейтімін қолдайтынын айтады. Оны ClaudeBot тобына жазып, User-agent: * тобыңыздағы барлық Disallow ережелерін сонда қайталаңыз.
GPTBot пен PerplexityBot Crawl-delay-ді қолдай ма?
OpenAI мен Perplexity краулер беттері Crawl-delay туралы айтпайды, сондықтан оның әсері құжатталмаған. Артық сұрауларға 429 кодымен жауап беретін серверлік шектеуді пайдаланыңыз.
429 жауабы рейтингіме зиян тигізе ме?
Қысқа мерзімде жоқ. Google 429 пен 503 кодтарын жинауды уақытша азайту жолы ретінде құжаттайды, бірақ оларды бірнеше күн қайтаратын URL-дер оның индексінен шығарылуы мүмкін екенін ескертеді.
Жүктемені азайту үшін GPTBot-ты бұғаттау керек пе?
Бұғаттауға болады. OpenAI GPTBot оқытуға пайдаланылуы мүмкін мазмұнды жинайтынын және robots.txt-тегі әр баптау тәуелсіз екенін айтады, сондықтан оған тыйым салу сізді OAI-SearchBot пайдаланатын ChatGPT іздеуінен шығармайды. Алдымен журналдарды тексеріп, жүктеме OpenAI мекенжайларынан келетініне көз жеткізіңіз.
Дереккөздер
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Bing Webmaster Blog: To crawl or not to crawl, that is BingBot's question
- Google: How Google interprets the robots.txt specification
- Google: Reduce the Google crawl rate
- Google: Overview of Google crawlers and fetchers (HTTP caching)
- RFC 9309: Robots Exclusion Protocol
- RFC 6585: Additional HTTP Status Codes (429)
- nginx: Module ngx_http_limit_req_module
- Cloudflare: Rate limiting rules
- Cloudflare: Rate limiting parameters
- Cloudflare: Manage AI crawlers (AI Crawl Control)
- Cloudflare: Bot Fight Mode
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers