Biznes saytlarining 10 tadan 4 tasi AI kroulerlarni qaytaryapti
AQSh, Buyuk Britaniya va Fransiyadagi 165 ta biznes saytini auditdan o'tkazdik: 38 foizi serverda kamida bitta AI kroulerni qaytargan, deyarli doim o'qitish yoki skreyper botini. Har o'ninchi sayt AI qidiruv kroulerini ham rad etgan, masalan PerplexityBot yoki OAI-SearchBot, ya'ni manba sifatida ko'rsatilishga olib kelishi mumkin bo'lgan kroulerlarni. O'zingizniki uchun har bir krouler nomidan bittadan so'rov yuboring.
Siz ChatGPT'dan o'z mahsulotingiz haqida so'raysiz, u esa raqobatchini, sharhlar saytini va forum mavzusini aytadi. Ba'zan gap kontentda bo'ladi. Ko'pincha esa xavfsizlik devori AI kroulerlarga "yo'q" deb javob beradi, saytingiz brauzerda ishlagani uchun jamoangizda buni hech kim ko'rmaydi.
Ushbu sahifada
Nimani sinadik?
Bir xil manzildan sahifani bir necha marta so'raymiz: bir marta oddiy brauzer sifatida, keyin 14 ta AI va qidiruv krouleri sifatida bittadan. Ular orasida OpenAI'ning GPTBot, OAI-SearchBot va ChatGPT-User, Anthropic'ning ClaudeBot va Claude-SearchBot, Perplexity'ning PerplexityBot kroulerlari bor. Brauzer sahifani olib, krouler 401, 403, 406, 429, 451, 503 yoki challenge sahifa olsa, sayt shu kroulerni qaytaryapti.
Tanlanma AQSh, Buyuk Britaniya va Fransiyadagi 218 ta biznes sayti, audit 2026-yil 18 noyabrdan 21 noyabrgacha o'tkazildi. To'liq testni 165 tasida o'tkaza oldik. Qolgan 53 tasi oddiy brauzer so'rovimizni ham rad etdi yoki javob bermadi, shuning uchun taxmin qilmay, ularni chiqarib tashladik.
Nimani topdik?
- Sinab bo'lingan saytlarning 38 foizi (165 tadan 63 tasi) kamida bitta AI kroulerni qaytargan.
- Bu saytlarning hammasi kamida bitta o'qitish yoki skreyper kroulerini rad etgan.
Bytespiderni barcha saytlarning 35 foizi,ClaudeBotni 13 foizi,GPTBotni 11 foizi rad etgan. - Saytlarning 10 foizi (16 ta) kamida bitta AI qidiruv kroulerini ham rad etgan, 5 foizi (8 ta) esa inson assistentdan sahifa haqida so'raganda sahifani o'sha zahoti ochadigan kroulerni rad etgan.
- Eng muhim qidiruv kroulerlari
PerplexityBot(11 ta sayt) vaOAI-SearchBot(5 ta sayt) bo'ldi. - Biz sinagan kroulerlardan birortasini rad etgan 66 ta saytdan 32 tasi ortida Cloudflare turgan edi. Yana 30 tasida qaysi xavfsizlik devori javob berganini aniqlay olmadik.
Bu nega sodir bo'ladi va qachon bu tanlov hisoblanadi?
Buning ko'pi ehtimol ataylab qilingan. Ko'p egalar kontenti modellarni o'qitishda ishlatilishini istamaydi, skreyperlarni to'sadigan botdan himoya sozlamalarini esa yoqish oson. Bu o'rinli tanlov.
Muammo shundaki, AI kompaniyalari o'qitish va qidiruv uchun alohida kroulerlar ishlatadi. O'qitish kroulerini to'sish uchun qidiruv kroulerini to'sish shart emas, javobda sahifangiz manba sifatida ko'rsatilishiga olib kelishi mumkin bo'lgani esa aynan qidiruv krouleridir.
Eng katta saytlar yaxshiroqmi?
Aslida yo'q. Eng mashhur 1 000 ta domen bo'yicha robots.txt hisobotimizda robots.txt fayli bor saytlarning 29,9 foizi kamida bitta AI o'qitish kroulerini to'sadi, ularning 63,2 foizi esa kamida bitta AI qidiruv yoki foydalanuvchi kroulerini ham to'sadi. Faqat 11,0 foizi o'qitishni to'sib, barcha AI qidiruv kroulerlariga ruxsat beradi, ko'pchilik, ehtimol, aynan shu sozlamani xohlagan edi.
O'z saytimni o'n daqiqada qanday tekshiraman?
yoursite.com/robots.txtni oching. O'zingizga kerak har bir AI krouler uchun uni nomi bilan atagan guruh bor-yo'qligini va u nima deyishini ko'ring. Kroulerni nomi bilan atagan guruh umumiy*guruhini butunlay almashtiradi.- Fayl nima deyishini emas, server nima qilishini sinang. Asosiy sahifangizni brauzer sifatida ham, krouler sifatida ham so'rang. 403, 429, sarlavhasi
Just a moment...bo'lgan sahifa yoki brauzernikidan ancha kichik javob xavfsizlik devori to'sig'ining belgisi. - Assistentdan so'rang. Qidiruvni yoqib, ChatGPT yoki Perplexity'ga xaridorlaringiz beradigan savollarni bering va qaysi saytlarni manba qilib ko'rsatishini kuzating. Kirish joyida bo'lsa-yu, baribir ko'rinmasangiz, muammo kirishda emas, kontentda.
Bu raqamlar qanchalik ishonchli?
Ularni to'liq statistika emas, qonuniyat deb qabul qiling. Tanlanma tasodifiy emas: bular reklama kutubxonalari, ish e'lonlari saytlari va xarita ro'yxatlari orqali topilgan kompaniyalar. Biz bitta manzildan user agent bo'yicha sinaymiz, haqiqiy kroulerlar esa yetkazib beruvchilar e'lon qilgan manzillardan keladi, shuning uchun ba'zi xavfsizlik devorlari haqiqiylariga boshqacha munosabatda bo'lishi mumkin. Va to'siq har doim ham xato emas.
Keyingi qadamlar
- AI kraulerlari uchun robots.txt tester va tekshiruvi
- Toʻliq hisobot namunasini koʻring
- AI kraulerlari monitoringi
- Tariflar va narxlar
Ushbu maqoladagi kraulerlar
Koʻp beriladigan savollar
Saytlarning qancha qismi AI kroulerlarni to'saydi?
165 ta sinab bo'lingan biznes saytini auditimizda 38 foizi serverda kamida bitta AI kroulerni qaytargan, asosan o'qitish va skreyper botlarini. Taxminan 10 foizi AI qidiruv kroulerini ham rad etgan.
GPTBot'ni to'sish saytimni ChatGPT qidiruvidan chiqarib tashlaydimi?
Yo'q. OpenAI o'z kroulerlari uchun har bir robots.txt sozlamasi mustaqil ekanini aytadi: GPTBot o'qitishga, OAI-SearchBot ChatGPT qidiruviga tegishli. Birini to'sish ikkinchisini to'smaydi.
Sayt robots.txt'siz kroulerni qanday to'sa oladi?
Xavfsizlik devori, CDN yoki botdan himoya qoidasi kroulerga 403, 429 yoki challenge sahifa bilan javob berishi mumkin. robots.txt buni hech qachon ko'rsatmaydi, shuning uchun sahifani krouler sifatida so'rab sinash kerak.
Kroulerni qaytarish doim xatomi?
Yo'q. Ko'p egalar o'qitish kroulerlari va skreyperlarni kiritmaslikni xohlaydi. Xato qidiruv kroulerlarini tasodifan to'sishda, chunki sahifangizni manba qilib ko'rsatishi mumkin bo'lganlar aynan shular.
Manbalar
- AISeeWhy: AI Crawler Access Report, 2026-11
- RFC 9309: Robots Exclusion Protocol
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers
- Cloudflare: Manage AI crawlers (AI Crawl Control)