Sayt AI kraulerlarini bloklaydimi: qanday tekshirish mumkin
Istalgan manzilni kiriting va u GPTBot, ClaudeBot, PerplexityBot hamda boshqa AI kraulerlarni bloklaydimi-yoʻqmi, tekshiring: robots.txt da, firewallda yoki ikkalasida.
Bepul · Roʻyxatdan oʻtmasdan · Natija 30 soniyada
Qaysi kraulerlar bloklangan
Oʻqitish, qidiruv va foydalanuvchi kraulerlari alohida koʻrsatiladi, chunki GPTBotni bloklash OAI-SearchBotni bloklamaydi, ClaudeBotni bloklash esa Claude-SearchBotni bloklamaydi.
Hal qiluvchi qator
Har bir krauler uchun robots.txt RFC 9309 qoidalari boʻyicha oʻqiladi: uni nomi bilan koʻrsatgan guruh yoki zaxira sifatida User-agent: * va ustun keladigan qoida.
Firewall rad etishlari
Sahifa 14 ta krauler nomidan va oddiy brauzer sifatida soʻraladi. Bloklar va challenge sahifalari belgilanadi, javob bergan firewall nomi koʻrsatiladi.
Har bir topilma uchun yechim
Har bir topilma bilan qilinadigan oʻzgarish ham beriladi. Bepul tekshiruv balingizni va birinchi topilmani koʻrsatadi; toʻliq hisobot — $29, bir martalik.
Sayt AI kraulerlarini ikki joyda bloklashi mumkin: kraulerlardan kirmaslikni soʻraydigan robots.txt da hamda ularni haqiqatan rad etadigan server yoki firewallda. robots.txt dan har bir krauler tokeni uchun qoidalarni, ular boʻlmasa User-agent: * qoidalarini toping, soʻng sahifani krauler nomidan yuklab, brauzer bilan solishtiring. Brauzer kengaytmasi robots.txt qismini 16 ta AI krauler uchun bir bosishda bajaradi.
Qoʻlda 3 qadamda tekshiring
- Kraulerni tanlang
Har bir AI kompaniyasi alohida kraulerlarni ishlatadi. Oʻqitish:
GPTBot,ClaudeBot. Qidiruv:OAI-SearchBot,Claude-SearchBot,PerplexityBot. Inson soʻrovi bilan:ChatGPT-User,Claude-User,Perplexity-User. - U uchun robots.txt ni oʻqing
https://example.com/robots.txtni oching va kraulerni nomi bilan koʻrsatgan guruhni toping. Agar bunday guruh boʻlmasa,User-agent: *guruhi amal qiladi; ikkalasi ham boʻlmasa, hammasiga ruxsat beriladi. - Sahifani krauler nomidan yuklang
Sahifani krauler user agenti bilan soʻrang va status hamda hajmni brauzernikiga solishtiring. 403, challenge sahifasi yoki ancha kichik 200 firewall uni rad etayotganini bildiradi.
Koʻp beriladigan savollar
robots.txt boʻlmagan sayt AI kraulerlari uchun ochiqmi?
Ha, robots.txt nuqtai nazaridan. robots.txt uchun 404 qoidalar yoʻq degani, shuning uchun har qanday krauler har qanday sahifani yuklashi mumkin. Lekin firewall baribir kraulerlarni bloklashi mumkin.
Kengaytma firewall bloklarini koʻrsatadimi?
Yoʻq. U robots.txt ni brauzeringizdan oʻqiydi, bu sayt kraulerlardan nimani soʻrashini koʻrsatadi. Firewall va botlardan himoya bloklarini koʻrish uchun krauler nomidan yuborilgan soʻrov kerak, buni aiseewhy.com dagi toʻliq tekshiruv bajaradi.
Oʻzimniki boʻlmagan saytni tekshira olamanmi?
Ha. robots.txt ochiq, kengaytma esa faqat sayt eʼlon qilgan robots.txt va llms.txt fayllarini oʻqiydi, yaʼni har qanday krauler oʻqiydigan fayllarni.
Toʻliq qoʻllanmani oʻqing
Oʻz saytingizni oʻzgarishdan keyin tekshirayotgan boʻlsangiz ham, boshqa birovning saytiga tayanishdan oldin unga qarayotgan boʻlsangiz ham, “bu sayt AI kraulerlarini bloklaydimi?” degan savolning aniq javobi bor. U qaysi kraulerni nazarda tutayotganingizga bogʻliq, chunki AI kompaniyalari oʻqitish, qidiruv va bevosita tashriflar uchun alohida kraulerlardan foydalanadi, sayt esa har biriga turlicha munosabatda boʻlishi mumkin. Bu qoʻllanmada eng tezkoridan eng toʻliqigacha uchta tekshiruv koʻrsatilgan.
Sayt AI kraulerlarini qayerda bloklashi mumkin?
Uchta qatlam bor va sahifadan foydalanish uchun krauler ularning hammasidan oʻtishi kerak.
- robots.txt: oʻzini yaxshi tutadigan kraulerlar biror narsani yuklashdan oldin oʻqiydigan ochiq qoidalar fayli. Bu qulf emas, iltimos.
- Server, CDN yoki firewall: amalda nima qaytarilishini shu hal qiladi. Botlardan himoya qoidasi robots.txt ruxsat bergan boʻlsa ham kraulerga 403, 429 yoki challenge sahifasi bilan javob berishi mumkin.
- Sahifaning oʻzi: agar asosiy matn faqat JavaScript ishga tushgandan keyin paydo boʻlsa, dastlabki HTMLʼni oʻqiydigan krauler hech narsa uni bloklamagan boʻlsa ham deyarli boʻsh sahifa oladi.
Koʻpchilik tezkor tekshiruvlar faqat birinchi qatlamga qaraydi. Qolgan ikkitasini yodda tutsangiz, bu yaxshi boshlanish.
Bitta AI krauler uchun robots.txt qanday oʻqiladi?
Brauzerda https://example.com/robots.txt ni oching va kraulerga tegishli guruhni toping. Guruh bitta yoki bir nechta User-agent qatoridan boshlanadi. Krauler oʻz tokeni koʻrsatilgan guruhdan foydalanadi, masalan GPTBot; moslash katta-kichik harflarga bogʻliq emas. Agar hech bir guruh uni nomlamasa, u User-agent: * guruhidan foydalanadi. Ikkalasi ham boʻlmasa, hamma narsaga ruxsat berilgan.
Guruh ichida eng uzun mos keladigan yoʻlga ega qoida yutadi, Allow va Disallow uzunligi teng boʻlsa esa Allow yutadi. Demak, quyidagi fayl GPTBot uchun butun saytni yopadi, lekin qolgan barcha kraulerlarni kiritadi:
User-agent: GPTBot
Disallow: /
User-agent: *
Allow: / Fayl qanday javob berishiga ham qarang. RFC 9309 boʻyicha 404 qoidalar yoʻq degani, yaʼni hamma narsaga ruxsat berilgan. Server xatosi (5xx) yoki umuman javob boʻlmasligi krauler butun saytni taqiqlangan deb hisoblashi kerakligini bildiradi. HTML sahifa qaytaradigan robots.txt manzili — keng tarqalgan xato: kraulerlar unda haqiqiy qoidalarni topa olmaydi.
Barcha AI kraulerlarini birdaniga qanday tekshirish mumkin?
Sizga bittadan ortiq krauler muhim boʻlishi bilan faylni qoʻlda oʻqish sekinlashadi. Har bir AI kompaniyasining turli vazifali bir nechta krauleri bor:
- Oʻqitish kraulerlari modellarni oʻqitish uchun kontent yigʻadi:
GPTBot,ClaudeBot,CCBot,Bytespider,meta-externalagent, shuningdek faqat robots.txt da uchraydiganGoogle-ExtendedvaApplebot-Extendedtokenlari. - Qidiruv kraulerlari AI javoblari ularga iqtibos keltira olishi uchun sahifalarni indekslaydi:
OAI-SearchBot,Claude-SearchBot,PerplexityBot. - Foydalanuvchi kraulerlari inson assistentdan soʻraganda sahifani yuklaydi:
ChatGPT-User,Claude-User,Perplexity-User.
Chrome uchun bepul “AI kraulerlar tekshiruvi” kengaytmasi buni bir bosishda bajaradi. Istalgan sahifani oching, belgini bosing, u saytning robots.txt faylini oʻqiydi va 16 ta kraulerning har biri uchun sahifaga ruxsat bor-yoʻqligini hamda buni qaysi qator hal qilishini koʻrsatadi. U shuningdek Content-Signal sozlamalarini, saytda llms.txt bor-yoʻqligini va robots.txt da koʻrsatilgan sayt xaritalarini koʻrsatadi. U brauzeringizda ishlaydi, akkaunt talab qilmaydi va faqat siz bosgan saytni oʻqiydi.
Chrome boʻlmasa, aiseewhy.com dagi bepul robots.txt tekshiruvi siz qoʻygan URL uchun xuddi shu javobni beradi.
Firewall ularni oʻtkazishini qanday tekshirish mumkin?
robots.txt sayt nimani soʻrashini koʻrsatadi. Krauler amalda nima olishini koʻrish uchun sahifani ikki marta soʻrang, bir marta brauzer sifatida, bir marta krauler user agenti bilan, soʻng status kodi va javob hajmini solishtiring:
# As a browser
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
-A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
https://example.com/page
# As OAI-SearchBot
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
-A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
https://example.com/page Agar brauzer 200, krauler esa 403, 429 yoki 503 yoxud ancha kichik sahifa olsa, firewall yoki botlardan himoya kraulerga boshqacha munosabatda boʻlmoqda. Har qanday tashqi testning bitta cheklovi bor: soʻrov AI kompaniyasining emas, sizning tarmogʻingizdan keladi. Kraulerlarga ularning eʼlon qilingan IP manzillari boʻyicha ishonadigan firewall haqiqiy kraulerga boshqacha munosabatda boʻlishi mumkin, shuning uchun soʻnggi soʻz server loglaringizda.
aiseewhy.com dagi toʻliq tekshiruv sahifani haqiqiy brauzer bilan yonma-yon barcha 16 ta krauler nomidan yuklaydi, kraulerni bloklayotgan firewall yoki qoidani nomlaydi va har biri olgan matnni solishtiradi.
Qanday natijaga intilish kerak?
Bu nimani xohlashingizga bogʻliq. ChatGPT qidiruvi, Claude va Perplexityʼda iqtibos keltirilishini istasangiz, qidiruv va foydalanuvchi kraulerlariga robots.txt da ruxsat berilgan boʻlishi va ular serverdan haqiqiy sahifani olishi kerak. Kontentingiz oʻqitish uchun ishlatilishini istamasangiz, faqat oʻqitish tokenlarini bloklang. Bular alohida tanlovlar: GPTBot ni bloklash OAI-SearchBot ni bloklamaydi, ClaudeBot ni bloklash esa Claude-SearchBot ni bloklamaydi.
Koʻp saytlar ularni chalkashtiradi. Eng mashhur 1000 ta domen haqidagi 2026-yil noyabr hisobotimizda oʻqitish kraulerini bloklaydigan saytlarning 63% kamida bitta AI qidiruv yoki foydalanuvchi kraulerini ham bloklaydi, bu esa ularning sahifalarini oʻsha AI javoblaridan chetda qoldiradi.
Keyingi qadamlar
- AI kraulerlari uchun robots.txt tester va tekshiruvi
- llms.txt tekshiruvi va validatori
- Toʻliq hisobot namunasini koʻring
- AI kraulerlari monitoringi
- Tariflar va narxlar
Ushbu maqoladagi kraulerlar
Manbalar
- RFC 9309: Robots Exclusion Protocol
- OpenAI: OpenAI kraulerlari haqida umumiy maʼlumot
- Anthropic: Anthropic internetdan maʼlumot yigʻadimi va sayt egalari kraulerni qanday bloklashi mumkin
- Perplexity: Perplexity kraulerlari
- Google: umumiy kraulerlar, jumladan Google-Extended
- AISeeWhy: AI kraulerlari kirishi boʻyicha hisobot, 2026-11