AI kraulerlarini bloklamasdan qanday sekinlashtirish mumkin
Bloklash oʻrniga rate limit qoʻying. Ortiqcha krauler soʻrovlariga 429 yoki 503 va Retry-After sarlavhasi bilan javob bering, har bir kraulerga alohida limit bering, /robots.txt ni har qanday limitdan tashqarida qoldiring va kraulerlarga sahifalarni keshdan bering. robots.txt dagi Crawl-delay faqat operator uni hujjatlashtirgan joyda yordam beradi: Anthropic va Bing hujjatlashtirgan, Google uni qoʻllab-quvvatlamasligini aytadi, OpenAI va Perplexity esa uni tilga olmaydi. AI qidiruv kraulerlariga ruxsatni saqlang, aks holda ular oziqlantiradigan javoblardan ham chiqib ketasiz.
Krauler soatiga minglab soʻrov yuborganda tezkor yechim — Disallow: / yoki firewall bloki. Oʻqitish krauleri uchun bu oqilona tanlov boʻlishi mumkin. OAI-SearchBot, Claude-SearchBot yoki PerplexityBot uchun esa bu sahifalaringizni chiqishni istagan AI javoblaringizdan olib tashlaydi. Koʻpincha yuklamani bundan voz kechmasdan, kraulerlar allaqachon tushunadigan signallar bilan kamaytirish mumkin: status kodlari, keshlash va baʼzi operatorlar uchun Crawl-delay.
Ushbu sahifada
- Yuklamani aslida qaysi krauler yaratyapti?
- Crawl-delay AI kraulerlari uchun ishlaydimi?
- 429 va 503 javoblari kraulerlarni qanday sekinlashtiradi?
- AI kraulerlari uchun rate limitni qanday oʻrnataman?
- Keshlash krauler yuklamasini kamaytira oladimi?
- Kraulerlarni sekinlashtirishda nimadan qochish kerak?
- Kraulerlar hamon oʻtayotganini qanday tekshiraman?
Yuklamani aslida qaysi krauler yaratyapti?
Biror narsani oʻzgartirishdan oldin qarang. Access loglaringizda soʻrovlarni user agent va soat boʻyicha sanang, manba IPʼlarini har bir kompaniya eʼlon qilgan diapazonlar bilan tekshiring; buyruqlar server loglarida AI kraulerlarini tekshirish boʻyicha qoʻllanmamizda bor. Koʻpincha ikki holat chiqadi:
- Ogʻir trafik oʻzini faqat AI krauleri deb koʻrsatadi. IPʼlar kompaniya roʻyxatida boʻlmasa, haqiqiy krauler uchun qoidalar yordam bermaydi. Bunday trafikni uning kelib chiqishi boʻyicha cheklang yoki bloklang.
- Haqiqiy krauler skanerlash tuzogʻiga tushib qolgan, masalan cheksiz kalendar sahifalari, filtr kombinatsiyalari yoki URLʼlardagi sessiya IDʼlari. Tuzoqni shu yoʻllar uchun
Disallowqoidalari bilan yopish har qanday rate limitdan koʻproq tejaydi.
Kraulerlarni vazifasiga qarab ham ajrating. GPTBot va ClaudeBot kabi oʻqitish kraulerlari sizni AI qidiruvida iqtibos keltiriladigan qiladigan kraulerlar emas, shuning uchun muammo ulardan birida boʻlsa, uni taqiqlash oqilona variant. Bu qoʻllanmaning qolgan qismi saqlab qolmoqchi boʻlgan kraulerlaringiz uchun.
Crawl-delay AI kraulerlari uchun ishlaydimi?
Crawl-delay RFC 9309 ning bir qismi emas, shuning uchun har bir operator uni oʻqish-oʻqimaslikni oʻzi hal qiladi. 2026-yil noyabr holatiga koʻra hujjatlar shunday deydi:
- Anthropic: qoʻllab-quvvatlanadi. Uning yordam sahifasida skanerlash faolligini cheklash uchun nostandart
Crawl-delaykengaytmasini qoʻllab-quvvatlashi aytilgan va misol sifatidaClaudeBotguruhidaCrawl-delay: 1keltirilgan. - Microsoft Bing: qoʻllab-quvvatlanadi. Bing veb-masterlar blogi qiymatni
bingbotkoʻpi bilan bitta sahifani skanerlaydigan 1 dan 30 soniyagacha boʻlgan vaqt oynasi deb tasvirlaydi va robots.txt dagi crawl delay Bing Webmaster Tools dagi skanerlash sozlamalaridan ustun turishini aytadi. - Google: qoʻllab-quvvatlanmaydi. Googleʼning robots.txt hujjatlarida
crawl-delayqoʻllab-quvvatlanmaydigan maydon sifatida nomlangan. - OpenAI va Perplexity: ularning krauler sahifalari uni tilga olmaydi, shuning uchun uning
GPTBot,OAI-SearchBotyokiPerplexityBotga taʼsiri hujjatlashtirilmagan.
User-agent: ClaudeBot
Crawl-delay: 5
Disallow: /search/
Disallow: /cart/
User-agent: *
Disallow: /search/
Disallow: /cart/ Guruhlar mantigʻiga eʼtibor bering. Oʻz nomi bilan guruh topgan krauler User-agent: * guruhini butunlay eʼtiborsiz qoldiradi, shuning uchun faqat Crawl-delay boʻlgan ClaudeBot guruhi boshqalar uchun qoʻygan har bir Disallowni bekor qiladi. Ularni yuqoridagidek takrorlang. Bing Crawl-delayni istalgan guruhdan oʻqiydigan istisno deb tasvirlaydi, lekin buni boshqa kraulerlar uchun ham shunday deb hisoblamang.
429 va 503 javoblari kraulerlarni qanday sekinlashtiradi?
Yuklama choʻqqilarida status kodi kraulerlar hurmat qilish uchun yaratilgan signal. RFC 6585 da belgilangan 429 Too Many Requests mijoz maʼlum vaqt ichida juda koʻp soʻrov yuborganini bildiradi va qancha kutish kerakligini aytadigan Retry-After sarlavhasini oʻz ichiga olishi mumkin. 503 Service Unavailable server hozir yuklamani koʻtara olmasligini aytadi.
Google buni Googlebot skanerlash tezligini tez pasaytirish usuli sifatida hujjatlashtiradi: baʼzi skanerlash soʻrovlariga 200 oʻrniga 500, 503 yoki 429 qaytarish. U aytishicha, bu butun hostname uchun skanerlash tezligini pasaytiradi, Retry-After esa soniyalar soni yoki sanani oʻz ichiga olishi mumkin.
HTTP/1.1 429 Too Many Requests
Retry-After: 120
Content-Type: text/plain
Too many requests, please retry later. Uni qisqa tuting. Google buni bir-ikki kundan uzoq qilishni tavsiya qilmaydi, chunki bu kodlarni bir necha kun qaytaradigan URL uning indeksidan chiqarib tashlanishi mumkin. Uzoq muddatli pasaytirish uchun Google buning oʻrniga Search Console orqali maxsus soʻrovni taklif qiladi.
OpenAI, Anthropic va Perplexity kraulerlari 429, 503 yoki Retry-Afterga qanday munosabatda boʻlishini hujjatlashtirmaydi. Bu kodlar kamroq soʻrash uchun standart usul, lekin har bir AI krauleri qanchalik tez chekinishini hech qayerdan bilib boʻlmaydi.
AI kraulerlari uchun rate limitni qanday oʻrnataman?
Butun trafik uchun bitta limit oʻrniga har bir kraulerga alohida limit bering va undan ortiq soʻrovlarga 429 bilan javob bering. nginx da buni limit_req moduli qiladi. Kaliti boʻsh soʻrovlar hisoblanmaydi, shuning uchun faqat krauler user agentlari uchun kalit qaytaradigan map odam tashrifchilarga tegmaydi. Bu yerda har bir krauler daqiqasiga 60 ta soʻrov va 20 ta burst oladi:
# In the http block
map $http_user_agent $ai_crawler {
default "";
~*GPTBot gptbot;
~*OAI-SearchBot oai-searchbot;
~*ClaudeBot claudebot;
~*Claude-SearchBot claude-searchbot;
~*PerplexityBot perplexitybot;
}
limit_req_zone $ai_crawler zone=ai_crawlers:10m rate=60r/m;
# In the server block
location = /robots.txt {
# serve robots.txt as before, without limit_req
}
location / {
limit_req zone=ai_crawlers burst=20 nodelay;
limit_req_status 429;
# ... your existing configuration
} Bu yerda kalit — user agent, shuning uchun kraulerning nomini koʻchirgan har kim shu krauler limitini u bilan baham koʻradi. Rate limit uchun bu maqbul. Ruxsat qoidasi uchun kompaniya eʼlon qilgan IP diapazonlarini ham moslang.
Cloudflareʼda xuddi shu ishni edgeʼda rate limiting rules bajaradi. Free tarifda 10 soniya ichida IP boʻyicha hisoblaydigan bitta qoida olasiz, qoida ifodasida esa yoʻl va Verified Bot maydonidan foydalanish mumkin. Soʻrovlarni koʻp manzilga taqsimlaydigan kraulerlar uchun IP boʻyicha hisoblash qoʻpol, yuqori tariflar esa koʻproq hisoblash variantlarini qoʻshadi. Standart javob — 429, boshqa 4xx kodi va oʻz javob tanangizni belgilashingiz mumkin. AI Crawl Control har bir krauler uchun Allow, Block va yopiq betada Charge ni taklif qiladi, lekin tezlik sozlamasi yoʻq.
Nimadan foydalansangiz ham, /robots.txt ni limitdan tashqarida qoldiring. RFC 9309 robots.txt uchun server xatosi krauler butun saytni taqiqlangan deb hisoblashi kerakligini bildirishini aytadi, Google esa 429ni fayl yoʻq deb hisoblaydigan 4xx kodlari qatoriga kiritmaydi.
Keshlash krauler yuklamasini kamaytira oladimi?
Koʻpincha rate limitdan ham koʻproq. Kraulerlar asosan har bir tashrifchi uchun bir xil boʻlgan ommaviy sahifalarni soʻraydi, shuning uchun ularni CDN yoki sahifa keshidan berish qimmat renderlarni arzon kesh hitlarga aylantiradi. Keshingiz krauler user agentlari uchun alohida, keshlanmagan variant saqlamasligini tekshiring.
Shartli soʻrovlar ham yordam beradi. Google aytishicha, uning kraulerlari ETag va If-None-Match, shuningdek Last-Modified va If-Modified-Since bilan HTTP keshlashni qoʻllab-quvvatlaydi va ikkalasi boʻlsa, ETagdan foydalanadi. OpenAI, Anthropic va Perplexity krauler sahifalari ularning kraulerlari shartli soʻrov yuborish-yubormasligini aytmaydi, shuning uchun bu tejashga faqat Google uchun tayaning.
Kraulerlarni sekinlashtirishda nimadan qochish kerak?
- Kompaniya IP diapazonlarini firewallda bloklashdan. Anthropic bu toʻgʻri ishlamasligi yoki voz kechishni saqlab qolmasligi mumkinligidan ogohlantiradi, chunki bu uning botlariga robots.txt faylingizni oʻqishga imkon bermaydi.
- Bir necha kun davomida
5xxyoki429berishdan. Google aytishicha, ularni doimiy qaytaradigan URLʼlar uning indeksidan chiqarib tashlanishi mumkin. - Botlardan himoyani sekinlashtirgich sifatida ishlatishdan. Cloudflareʼning Bot Fight Mode rejimi botlarga hisoblash jihatidan qimmat challengeʼlar beradi va uni WAF custom rules bilan oʻtkazib boʻlmaydi, shuning uchun saqlab qolmoqchi boʻlgan kraulerlaringizni istisno qila olmaysiz.
- Trafikni tejash uchun qidiruv kraulerini taqiqlashdan.
OAI-SearchBot,Claude-SearchBotyokiPerplexityBotuchunDisallowsizni shu kraulerlar oziqlantiradigan javoblardan chiqaradi.
Kraulerlar hamon oʻtayotganini qanday tekshiraman?
Rate limitni haddan tashqari qattiq qoʻyish oson. AISeeWhyʼning bepul tekshiruvi sahifani haqiqiy brauzer bilan yonma-yon 16 ta AI va qidiruv krauleri sifatida yuklaydi, robots.txt faylingizni har bir krauler uchun qoʻllaydi va firewall challenge sahifalarini taniydi, shuning uchun kraulerlarga brauzerlardan boshqacha javob beradigan qoida koʻrinib qoladi. Har bir krauler uchun bitta soʻrov oqilona limitga tegmaydi, gap ham shunda: qoidalarni oʻzgartirgandan keyin oddiy soʻrovlar hamon oʻtayotganini tasdiqlash uchun uni ishga tushiring. Bepul AI krauleri IP tekshiruvi loglaringizdagi IP haqiqatan GPTBot yoki boshqa kraulerga tegishli ekanini aytadi.
Keyingi qadamlar
- AI kraulerlari uchun robots.txt tester va tekshiruvi
- AI kraulerlari IP tekshiruvi
- Toʻliq hisobot namunasini koʻring
- AI kraulerlari monitoringi
- Tariflar va narxlar
Ushbu maqoladagi kraulerlar
Koʻp beriladigan savollar
Google Crawl-delayʼni qoʻllab-quvvatlaydimi?
Yoʻq. Googleʼning robots.txt hujjatlarida crawl-delay qoʻllab-quvvatlanmaydigan maydonlar qatorida keltirilgan. Googlebotʼni qisqa muddatga sekinlashtirish uchun baʼzi soʻrovlarga 503, 500 yoki 429 qaytaring; uzoqroq pasaytirish uchun Google Search Console orqali maxsus soʻrovni taklif qiladi.
ClaudeBot Crawl-delayʼga amal qiladimi?
Anthropic nostandart Crawl-delay kengaytmasini qoʻllab-quvvatlashini aytadi. Uni ClaudeBot guruhiga qoʻying va User-agent: * guruhingizdagi barcha Disallow qoidalarini u yerda takrorlang.
GPTBot va PerplexityBot Crawl-delayʼni qoʻllab-quvvatlaydimi?
OpenAI va Perplexity krauler sahifalari Crawl-delayni tilga olmaydi, shuning uchun uning taʼsiri hujjatlashtirilmagan. Ortiqcha soʻrovlarga 429 bilan javob beradigan server tomonidagi limitdan foydalaning.
429 javobi qidiruvdagi oʻrinlarimga zarar yetkazadimi?
Qisqa muddatda yoʻq. Google 429 va 503ni skanerlashni vaqtincha kamaytirish usuli sifatida hujjatlashtiradi, lekin ularni bir necha kun qaytaradigan URLʼlar indeksdan chiqarib tashlanishi mumkinligidan ogohlantiradi.
Yuklamani kamaytirish uchun GPTBotʼni bloklashim kerakmi?
Mumkin. OpenAI aytishicha, GPTBot oʻqitishda ishlatilishi mumkin boʻlgan kontentni skanerlaydi va har bir robots.txt sozlamasi mustaqil, shuning uchun uni taqiqlash sizni OAI-SearchBotdan foydalanadigan ChatGPT qidiruvidan chiqarmaydi. Avval loglaringizni tekshirib, yuklama OpenAI manzillaridan kelayotganiga ishonch hosil qiling.
Manbalar
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Bing Webmaster Blog: To crawl or not to crawl, that is BingBot's question
- Google: How Google interprets the robots.txt specification
- Google: Reduce the Google crawl rate
- Google: Overview of Google crawlers and fetchers (HTTP caching)
- RFC 9309: Robots Exclusion Protocol
- RFC 6585: Additional HTTP Status Codes (429)
- nginx: Module ngx_http_limit_req_module
- Cloudflare: Rate limiting rules
- Cloudflare: Rate limiting parameters
- Cloudflare: Manage AI crawlers (AI Crawl Control)
- Cloudflare: Bot Fight Mode
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers