AI oʻqitishni bloklab, AI qidiruv javoblarida qanday qolish mumkin

Eʼlon qilingan

Qisqa javob

AI ishlab chiquvchilarining koʻpchiligi model oʻqitish va qidiruv uchun alohida robots.txt tokenlaridan foydalanadi. GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, meta-externalagent va CCBot kabi oʻqitish tokenlarini taqiqlang, OAI-SearchBot, Claude-SearchBot va PerplexityBot kabi qidiruv va foydalanuvchi tokenlariga esa ruxsat bering. Xuddi shu afzallikni soʻz bilan ifodalash uchun Content-Signal qatorini qoʻshing.

Koʻp sayt egalari bir vaqtning oʻzida ikki narsani xohlaydi: kontentlari AI modellarini oʻqitishda ishlatilishini istamaydi, lekin AI yordamchilari sahifalarini topishi, iqtibos keltirishi va ularga havola berishini istaydi. Yirik ishlab chiquvchilar endi bu vazifalarni turli kraulerlar yoki tokenlarga ajratgani uchun robots.txt ikkala tanlovni ham ifodalay oladi. Muammo shundaki, nomlar ishlab chiquvchiga qarab farq qiladi, baʼzi ishlab chiquvchilar bu sxemaga toʻgʻri kelmaydi va bitta notoʻgʻri qator sizni oʻqitish maʼlumotlaridan emas, AI javoblaridan chiqarib yuborishi mumkin.

Ushbu sahifada
  1. Oʻqitish krauleri bilan qidiruv krauleri oʻrtasida qanday farq bor?
  2. Qaysi tokenlar oʻqitishni, qaysilari qidiruvni boshqaradi?
  3. robots.txt qanday koʻrinadi?
  4. Qancha sayt buni allaqachon qiladi?
  5. Content-Signal nima qoʻshadi?
  6. Bu boʻlinish qayerda toʻliq ishlamaydi?
  7. Boʻlinish ishlayotganini qanday tekshiraman?

Oʻqitish krauleri bilan qidiruv krauleri oʻrtasida qanday farq bor?

Oʻqitish krauleri AI modellarini yaratish yoki yaxshilashda ishlatilishi mumkin boʻlgan sahifalarni toʻplaydi. Oʻqitishning oʻzi iqtibos ham, havola ham bermaydi. Qidiruv krauleri AI yordamchisi javob uchun manba topishda foydalanadigan indeksni quradi va aynan shu manbalarga u iqtibos keltira oladi. Foydalanuvchi ishga tushiradigan fetcher esa kimdir sahifa haqida soʻragani uchun uni jonli ochadi.

Ishlab chiquvchilar bu rollarni alohida hujjatlashtiradi va sozlamalar bir-biriga bogʻliq emasligini aytadi. Masalan, OpenAI oʻz kraulerlari uchun har bir robots.txt sozlamasi boshqalaridan mustaqil ekanini aytadi. Demak, toʻgʻri qilingan oʻqitishdan voz kechish qidiruvdagi koʻrinishingizga taʼsir qilmaydi.

Qaysi tokenlar oʻqitishni, qaysilari qidiruvni boshqaradi?

Quyida ishlab chiquvchilar hujjatlashtirgan tokenlar ular nimani boshqarishiga qarab guruhlangan:

robots.txt qanday koʻrinadi?

RFC 9309 boʻyicha ketma-ket kelgan bir nechta User-agent qatori bitta guruh hosil qiladi, shuning uchun qoidalar ularning har biriga qoʻllanadi. Bu fayl yuqoridagi oʻqitish tokenlaridan voz kechadi, qidiruv va foydalanuvchi agentlariga ruxsat beradi va bitta yopiq yoʻlni hamma uchun yopiq saqlaydi:

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /

User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: meta-webindexer
Allow: /
Disallow: /account/

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /
Disallow: /account/

Sitemap: https://example.com/sitemap.xml

Ikki tafsilot muhim. Birinchidan, nomlangan guruh * dan meros olmaydi, shuning uchun har qanday yopiq yoʻllarni qidiruv guruhida takrorlash kerak. Ikkinchidan, Googlebot yoki Applebotni oʻqitish guruhiga qoʻshmang: ular qidiruv kraulerlari va ularni bloklash sizni Google Search va Appleʼning qidiruv funksiyalaridan chiqarib yuboradi. Oʻzgarishlar darhol kuchga kirmaydi: OpenAI qidiruv uchun taxminan 24 soat, Perplexity esa 24 soatgacha deydi.

Qancha sayt buni allaqachon qiladi?

Kutganingizdan kamroq. 2026-11-12 sanasida Tranco roʻyxatidagi eng mashhur 1 000 ta domenning robots.txt fayllarini oʻqidik. robots.txt bergan 518 tadan 155 tasi (29,9%) bosh sahifani kamida bitta AI oʻqitish krauleri uchun taqiqlaydi. Faqat 57 tasi (11,0%) tanlab yondashadi: oʻqitish kraulerlarini bloklaydi va biz tekshirgan barcha AI qidiruv va foydalanuvchi kraulerlariga ruxsat beradi. Jami 101 ta sayt (19,5%) kamida bitta AI qidiruv yoki foydalanuvchi kraulerini bloklaydi.

Kraulerlar boʻyicha raqamlar ham xuddi shu boʻlinishni koʻrsatadi. GPTBot 111 ta saytda (21,4%), OAI-SearchBot esa 58 tasida (11,2%) bloklangan. ClaudeBot 110 tasida (21,2%), Claude-SearchBot 67 tasida (12,9%) bloklangan. Google-Extended 94 tasida (18,1%), Googlebot 14 tasida (2,7%) bloklangan. Faqat 18 ta sayt (3,5%) Content-Signaldan foydalanadi.

Tadqiqot faqat bosh sahifa uchun robots.txt qoidalarini koʻrib chiqadi. U firewall bloklashlarini oʻlchamaydi va har bir sayt nimani nazarda tutganini koʻrsatmaydi.

Content-Signal nima qoʻshadi?

Content Signals — Cloudflare contentsignals.org saytida eʼlon qilgan robots.txt kengaytmasi. Content-Signal qatori kontentdan qanday foydalanish mumkinligini uchta signal bilan bildiradi: search (qidiruv indeksini qurish va havolalar hamda qisqa parchalarni koʻrsatish), ai-input (kontentni AI modellariga real vaqtda berish, masalan generativ javoblar uchun grounding yoki retrieval) va ai-train (modellarni oʻqitish yoki fine-tuning qilish).

Eʼtibor bering: search taʼrifiga AI yaratgan qidiruv xulosalari kirmaydi. Agar AI javoblarida chiqishni istasangiz, yuqoridagi misoldagidek ai-input=yes ni ham qoʻying. Cloudflareʼning boshqariladigan robots.txt fayli standart boʻyicha search=yes, ai-train=no qoʻshadi; siz tushirib qoldirgan signal bu foydalanishga na ruxsat beradi, na uni cheklaydi.

Bular bildirilgan afzalliklar. Content Signals sayti ular kraulingni texnik darajada toʻxtatmasligini aytadi, Cloudflare esa robots.txt ga amal qilish ixtiyoriy ekanini taʼkidlaydi. Biz tekshirgan OpenAI, Anthropic, Google yoki Perplexity kraulerlari sahifalarining hech birida ular Content-Signalni oʻqishi yoki oʻqimasligi aytilmagan, shuning uchun uni har bir krauler uchun guruhlarning oʻrnini bosuvchi emas, ularga qoʻshimcha deb hisoblang.

Bu boʻlinish qayerda toʻliq ishlamaydi?

Baʼzi holatlar ehtiyotkorlik talab qiladi:

Boʻlinish ishlayotganini qanday tekshiraman?

robots.txt ni har bir krauler oʻqiganidek oʻqing: uni nomlagan guruhni toping, bunday guruh boʻlmasagina * ga qayting va eng uzun mos keladigan qoidani qoʻllang. Keyin har bir qidiruv kraulerining user agenti bilan sahifani soʻrang va u 403 yoki challenge sahifasini emas, toʻliq kontentli 200 javobini olishiga ishonch hosil qiling.

AISeeWhy buni oʻqitish, qidiruv va foydalanuvchi agentlariga guruhlangan 14 ta krauler uchun bajaradi va eng keng tarqalgan xatoni belgilaydi: oʻqitishni bloklamoqchi boʻlib, PerplexityBot yoki Claude-SearchBot kabi qidiruv tokenini bloklash.

Bepul asboblar

Keyingi qadamlar

Ushbu maqoladagi kraulerlar

Koʻp beriladigan savollar

GPTBotʼni bloklash saytimni ChatGPT javoblaridan olib tashlaydimi?

Yoʻq. OpenAI GPTBot oʻqitish uchun ekanini va har bir robots.txt sozlamasi mustaqil ekanini aytadi. ChatGPT qidiruvi OAI-SearchBotdan foydalanadi; unga ruxsat berilgan va firewallingiz uni bloklamagan ekan, sahifalaringiz javoblarga kirishi mumkin.

Google-Extendedʼni bloklash meni AI Overviewsʼdan olib tashlaydimi?

Google hujjatlariga koʻra, yoʻq. Google Google-Extended Google Searchʼga kirishga taʼsir qilmasligini aytadi, AI Overviews esa Search indeksiga tayanadi. Saytni AI Overviews va AI Modeʼdan chiqarish uchun Google alohida Search Console sozlamasini taklif qiladi.

Barcha AI oʻqitishni bloklaydigan bitta qator bormi?

Bunday standart qator yoʻq. Content-Signal: ai-train=no bu afzallikni barcha kraulerlar uchun bildiradi, lekin krauler unga amal qilishi operatorga bogʻliq. Har bir oʻqitish tokeni uchun nomlangan guruhlar — hujjatlashtirilgan usul.

AI oʻqitishni toʻxtatish uchun Perplexityʼni bloklashim kerakmi?

Perplexity uning agentlari oʻqitish maʼlumotlarini toʻplashda ishlatilmasligini aytadi. PerplexityBotni bloklash oʻqitishdan voz kechish vazifasini bajarmasdan, Perplexity qidiruv natijalaridagi koʻrinishingizni kamaytiradi.

Manbalar

Boshqa maqolalar