Nega saytim birdan AI kraulerlarini bloklay boshladi?

Eʼlon qilingan

Qisqa javob

AI kraulerlarini bloklay boshlagan saytda deyarli har doim besh joydan birida nimadir oʻzgargan boʻladi: amalda yuboriladigan robots.txt, Cloudflareʼning AI kraulerlari siyosatlari kabi CDN sozlamasi, botlardan himoya yoki rate limit, hostingning standart sozlamasi yoki endi xato bilan javob beradigan robots.txt. Bugungi robots.txt va bitta sahifani har bir krauler sifatida yuklang, ularni brauzer va avvalgi holat bilan solishtiring va bu qatlamlarni shu tartibda tekshiring.

Hech kim AI javoblaridan yoʻqolishga qaror qilmaydi. Bu mavzu yangilanishi, xavfsizlik sozlamasi, migratsiya yoki provayderdagi oʻzgargan standart sozlamaning yon taʼsiri sifatida yuz beradi. Brauzer saytni odatdagidek koʻrishda davom etadi, shuning uchun kimdir ChatGPT yoki Perplexityʼdan mahsulot haqida soʻrab, javobda raqobatchini olmaguncha oʻzgarish sezilmay qolishi mumkin. Har bir qatlam tashqaridan yoki loglaringizda tekshirsa boʻladigan iz qoldiradi.

Ushbu sahifada
  1. Kraulerlar oladigan robots.txt oʻzgardimi?
  2. Cloudflareʼning 2026-yilgi AI kraulerlari siyosatlari saytim ruxsat beradigan narsani oʻzgartirdimi?
  3. Botlardan himoya yoki rate limit kraulerlarni ushlayaptimi?
  4. Hosting provayderim standart sozlamalarini oʻzgartirdimi?
  5. robots.txt xato bilan javob beryaptimi?
  6. Bu qachon boshlanganini qanday bilaman?
  7. Keyingi safar buni qanday tezroq payqayman?

Kraulerlar oladigan robots.txt oʻzgardimi?

https://yourdomain.com/robots.txt ni yuklang va uni repositoriy yoki zaxira nusxangizdagi fayl bilan solishtiring. Diskdagi faylga emas, yuboriladigan faylga qarang, chunki yoʻlda uni bir nechta qatlam oʻzgartirishi mumkin:

Google Search Consoleʼdagi robots.txt hisoboti Google soʻnggi 30 kunda yuklagan versiyalarni koʻrsatadi va fayl yoki yuklash natijasi oʻzgargan har safar yangi yozuv qoʻshadi. U faqat Google koʻrgan narsani qamraydi, lekin serveringiz robots.txt ni user agentga qarab oʻzgartirmasa, AI kraulerlari ham xuddi shu faylni olgan.

Cloudflareʼning 2026-yilgi AI kraulerlari siyosatlari saytim ruxsat beradigan narsani oʻzgartirdimi?

Cloudflare AI kraulerlari sozlamalarini bir necha bor oʻzgartirgan va baʼzi oʻzgarishlar hech kim tahrirlamasa ham zona xatti-harakatini oʻzgartiradi. 2025-yil 1-iyuldan u yangi domenlardan roʻyxatdan oʻtishda AI kraulerlariga ruxsat berish-bermaslikni soʻray boshladi, boshlangʻich holat esa bloklash edi. 2026-yil 1-iyulda u yagona Block AI bots almashtirgichini Free ham kiradigan barcha tariflar uchun alohida Search, Agent va Training siyosatlari bilan almashtirdi.

Koʻp saytlarni aralash maqsadli kraulerlar qiynaydi. Cloudflare hujjatlarida Training amallari ham qidiruv, ham oʻqitish uchun ishlatiladigan kraulerlarga ham qoʻllanishi aytilgan. Uning 2026-yil iyuldagi eʼlonida 2026-yil 15-sentyabrdan Googlebot, Applebot va BingBot kabi koʻp maqsadli kraulerlar Trainingʼni bloklashni tanlagan mijozlar uchun — yangi opsiyalar orqalimi yoki eski Block AI bots sozlamasi orqalimi — bloklanishi aytilgan edi. Shuning uchun bir yil oldin oʻrnatilgan oʻqitishdan voz kechish endi qidiruv kraulerlariga ham yetib borishi mumkin.

Yangi domenlar uchun standart sozlamalar vaqt oʻtishi bilan turlicha tasvirlangan. Oʻsha eʼlonda 2026-yil 15-sentyabrdan yangi domenlarda reklama koʻrsatadigan sahifalarda Training va Agent bloklanishi aytilgan, 2026-yil 2-noyabrda yangilangan siyosat hujjatlarida esa yangi domenlar uchalasi uchun Allow bilan boshlanishi aytilgan. Security, soʻng Settings ni oching, Bot traffic boʻyicha filtrlang va zonangiz uchun AI Crawler and Agent access policies ni oʻqing. Cloudflare AI Crawl Control boʻyicha qoʻllanmamiz har bir sozlamani tushuntiradi.

Botlardan himoya yoki rate limit kraulerlarni ushlayaptimi?

Botlardan himoya har bir soʻrovni baholaydi, kraulerlar esa maʼlumot markazlaridan koʻp sahifani tez yuklaydi — botlar aynan shunday qiladi. Oʻtgan oy oʻtgan krauler operatori IP diapazonlari yoki skanerlash tezligini oʻzgartirgandan keyin yoki himoya qoidalari yangilangandan keyin challenge sahifalarini ola boshlashi mumkin. Cloudflareʼning Bot Fight Mode rejimi keng tarqalgan sabab va Cloudflare aytishicha, uni WAF custom rules yoki Page Rules bilan chetlab oʻtib yoki oʻtkazib boʻlmaydi, shuning uchun u yoqilgan ekan, keyin qoʻshilgan ruxsat qoidasi yordam bermaydi. Soʻrovlar toʻlqiniga 429 bilan javob beradigan yangi rate limit ham band kraulerga xuddi shunday taʼsir qiladi.

Tashqaridan tekshiring: sahifani brauzer sifatida va ikki AI qidiruv krauleri sifatida soʻrang, soʻng robots.txt ni krauler sifatida soʻrang.

URL=https://example.com/page
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
          "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
          "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"; do
  curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" "$URL"
done

# robots.txt itself, as a crawler
curl -s -o /dev/null -w "%{http_code} %{content_type}\n" \
  -A "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)" \
  https://example.com/robots.txt

Faqat krauler uchun 403, 429 yoki 503, Just a moment... sarlavhali sahifa yoki brauzernikidan ancha kichik tana kraulerga boshqacha munosabatda boʻlinayotganini bildiradi. Test kompaniya IPʼsidan emas, sizning IPʼingizdan keladi, shuning uchun tasdiqlangan bot statusiga asoslangan qoidalar haqiqiy kraulerga baribir boshqacha munosabatda boʻlishi mumkin. Firewallning hodisalar logi qaysi qoida javob berganini koʻrsatadi.

Hosting provayderim standart sozlamalarini oʻzgartirdimi?

Baʼzi hostinglar AI trafigini oʻz qoidalaringiz ishga tushishidan oldin serverda filtrlaydi. Masalan, SiteGround 2025-yil avgustda sukut boʻyicha oʻqitish maʼlumotlarini yigʻish uchun moʻljallangan AI kraulerlarini bloklashi va odam AI assistentdan sahifa haqida soʻraganda tashrif buyuradigan kraulerlarni oʻtkazishini yozgan. Bunday qoidalar robots.txt faylingizda koʻrinmaydi va hosting bot roʻyxatlarini yangilaganda oʻzgarishi mumkin.

Blok bir hostingdagi bir nechta saytda bir vaqtda yoki ilova loglaringizga hech qachon yetib bormaydigan javoblarda paydo boʻlsa, hostingdan akkauntingizga qaysi bot qoidalari qoʻllanishini va saqlab qolmoqchi boʻlgan kraulerlaringizni istisno qilish mumkinligini soʻrang.

robots.txt xato bilan javob beryaptimi?

Ishlamay qolgan robots.txt har qanday Disallow qatoridan koʻproq narsani bloklashi mumkin. RFC 9309 boʻyicha 4xx javob krauler hamma narsani yuklashi mumkinligini bildiradi, server xatosi (5xx) yoki umuman javob yoʻqligi esa u butun saytni taqiqlangan deb hisoblashi kerakligini bildiradi. Google bunday xatolarning dastlabki 12 soatida skanerlashni toʻxtatadi, soʻng 30 kungacha oxirgi yaroqli nusxasidan foydalanadi.

Shu tarzda yuklama sakrashi, /robots.txt ga challenge koʻrsatadigan firewall qoidasi yoki uni ham qamrab oladigan rate limit birorta qoida oʻzgarmasdan oʻzini yaxshi tutadigan kraulerlarni chetda qoldirishi mumkin. Yuqoridagi testdagi oxirgi buyruq 200 va text/plain qaytarishi kerak. U yerda 5xx, taymaut yoki challenge sahifasi boʻlsa, birinchi navbatda shuni tuzatish kerak.

Bu qachon boshlanganini qanday bilaman?

Sana jumboqni diffʼga aylantiradi. Access loglaringizda AI krauler user agentlaridan kelgan soʻrovlarni filtrlang va ularning status kodlari 200 dan 403, 429 yoki 503 ga oʻzgargan kunni yoki ular robots.txt ni oʻqigandan keyin sahifa soʻrashni toʻxtatgan kunni toping; buyruqlar server loglarida AI kraulerlarini tekshirish boʻyicha qoʻllanmamizda bor. CDN bloklagan soʻrovlar origin serverga hech qachon yetib bormaydi, shuning uchun CDNʼni ham tekshiring. Cloudflareʼda AI Crawl Control vaqt boʻyicha status kodlari taqsimotini koʻrsatadi, uni krauler boʻyicha filtrlash mumkin.

Soʻng bu sanani deploylar, plagin va mavzu yangilanishlari, CDN sozlamalari oʻzgarishlari va provayder eʼlonlari bilan solishtiring. Harakat qilishdan oldin manba IPʼlari kompaniyaga tegishli ekanini tasdiqlang, shunda uning nomidan foydalanayotgan soxta emas, haqiqiy kraulerga qarayotgan boʻlasiz.

Keyingi safar buni qanday tezroq payqayman?

Kirishni faqat trafik tushganda emas, har bir deploy, CDN oʻzgarishi va plagin yangilanishidan keyin tekshiring. AISeeWhyʼning bepul tekshiruvi sahifani haqiqiy brauzer bilan yonma-yon 16 ta AI va qidiruv krauleri sifatida yuklaydi, robots.txt faylingizni har bir krauler uchun qoʻllaydi va firewall challenge sahifalarini taniydi. Bepul robots.txt tekshiruvi har bir krauler uchun bugun amalda boʻlgan fayl boʻyicha sahifani yuklash mumkinligini koʻrsatadi.

Bepul asboblar

Keyingi qadamlar

Ushbu maqoladagi kraulerlar

Koʻp beriladigan savollar

Nega ChatGPT saytimni koʻrsatishni toʻxtatdi?

Koʻpincha ChatGPT qidiruvi ortidagi krauler OAI-SearchBot robots.txt oʻzgarishi, CDN siyosati yoki botlardan himoya tufayli bloklangani uchun. OpenAI aytishicha, uni bloklagan saytlar ChatGPT qidiruv javoblarida chiqmaydi. Bu krauler uchun har bir qatlamni tekshiring va robots.txt tuzatilgandan keyin taxminan 24 soat kuting — OpenAI aytishicha, uning tizimlari moslashishi uchun shuncha vaqt kerak.

Cloudflare saytimda Googlebotʼni bloklay boshladimi?

Bu mumkin. Cloudflare 2026-yil 15-sentyabrdan Trainingʼni bloklagan mijozlar Googlebot, Applebot va BingBot kabi koʻp maqsadli kraulerlarni ham bloklashini aytgan. Uning hujjatlarida Training Disallow opsiyasi oʻqitish kraulerlarini edgeʼda bloklashi, lekin aralash maqsadli kraulerlarni chetda qoldirishi aytilgan, shuning uchun zonangiz qaysi opsiyadan foydalanishini tekshiring.

Sayt konstruktori yoki plagin robots.txt ni mening oʻrnimga oʻzgartirishi mumkinmi?

Ha. Sayt konstruktorlari va SEO yoki xavfsizlik plaginlari robots.txt ga AI kraulerlari qoidalarini yozishi mumkin, baʼzilari esa vaqt oʻtishi bilan bot roʻyxatlarini kengaytiradi. Har bir yangilanishdan keyin jonli faylni yuklang va siz uchun muhim qidiruv kraulerlariga tegishli guruhlarni oʻqing.

Nega jonli robots.txt serverdagi fayldan farq qiladi?

Serveringiz oldidagi nimadir uni oʻzgartiryapti. Masalan, Cloudflareʼning managed robots.txt fayli xuddi shu javobda faylingiz boshiga oʻz qoidalari va content signalsʼni qoʻshadi. robots.txt ni soʻrov boʻyicha yaratadigan CMS yoki hosting darajasidagi sozlama ham uni almashtirishi yoki kengaytirishi mumkin.

Tuzatgandan keyin AI kraulerlari qancha vaqtda qaytadi?

RFC 9309 kraulerlar keshlangan robots.txt faylidan 24 soatdan ortiq foydalanmasligi kerakligini aytadi, OpenAI taxminan 24 soat, Perplexity esa 24 soatgacha deydi. Firewall oʻzgarishlari provayder ularni joriy qilishi bilan amal qiladi, lekin kraulerlar oʻz jadvali boʻyicha qaytadi.

Manbalar

Boshqa maqolalar