Biznes saytlarining 10 tadan 4 tasi AI kroulerlarni qaytaryapti

Eʼlon qilingan

Qisqa javob

AQSh, Buyuk Britaniya va Fransiyadagi 165 ta biznes saytini auditdan o'tkazdik: 38 foizi serverda kamida bitta AI kroulerni qaytargan, deyarli doim o'qitish yoki skreyper botini. Har o'ninchi sayt AI qidiruv kroulerini ham rad etgan, masalan PerplexityBot yoki OAI-SearchBot, ya'ni manba sifatida ko'rsatilishga olib kelishi mumkin bo'lgan kroulerlarni. O'zingizniki uchun har bir krouler nomidan bittadan so'rov yuboring.

Siz ChatGPT'dan o'z mahsulotingiz haqida so'raysiz, u esa raqobatchini, sharhlar saytini va forum mavzusini aytadi. Ba'zan gap kontentda bo'ladi. Ko'pincha esa xavfsizlik devori AI kroulerlarga "yo'q" deb javob beradi, saytingiz brauzerda ishlagani uchun jamoangizda buni hech kim ko'rmaydi.

Ushbu sahifada
  1. Nimani sinadik?
  2. Nimani topdik?
  3. Bu nega sodir bo'ladi va qachon bu tanlov hisoblanadi?
  4. Eng katta saytlar yaxshiroqmi?
  5. O'z saytimni o'n daqiqada qanday tekshiraman?
  6. Bu raqamlar qanchalik ishonchli?

Nimani sinadik?

Bir xil manzildan sahifani bir necha marta so'raymiz: bir marta oddiy brauzer sifatida, keyin 14 ta AI va qidiruv krouleri sifatida bittadan. Ular orasida OpenAI'ning GPTBot, OAI-SearchBot va ChatGPT-User, Anthropic'ning ClaudeBot va Claude-SearchBot, Perplexity'ning PerplexityBot kroulerlari bor. Brauzer sahifani olib, krouler 401, 403, 406, 429, 451, 503 yoki challenge sahifa olsa, sayt shu kroulerni qaytaryapti.

Tanlanma AQSh, Buyuk Britaniya va Fransiyadagi 218 ta biznes sayti, audit 2026-yil 18 noyabrdan 21 noyabrgacha o'tkazildi. To'liq testni 165 tasida o'tkaza oldik. Qolgan 53 tasi oddiy brauzer so'rovimizni ham rad etdi yoki javob bermadi, shuning uchun taxmin qilmay, ularni chiqarib tashladik.

Nimani topdik?

Bu nega sodir bo'ladi va qachon bu tanlov hisoblanadi?

Buning ko'pi ehtimol ataylab qilingan. Ko'p egalar kontenti modellarni o'qitishda ishlatilishini istamaydi, skreyperlarni to'sadigan botdan himoya sozlamalarini esa yoqish oson. Bu o'rinli tanlov.

Muammo shundaki, AI kompaniyalari o'qitish va qidiruv uchun alohida kroulerlar ishlatadi. O'qitish kroulerini to'sish uchun qidiruv kroulerini to'sish shart emas, javobda sahifangiz manba sifatida ko'rsatilishiga olib kelishi mumkin bo'lgani esa aynan qidiruv krouleridir.

Eng katta saytlar yaxshiroqmi?

Aslida yo'q. Eng mashhur 1 000 ta domen bo'yicha robots.txt hisobotimizda robots.txt fayli bor saytlarning 29,9 foizi kamida bitta AI o'qitish kroulerini to'sadi, ularning 63,2 foizi esa kamida bitta AI qidiruv yoki foydalanuvchi kroulerini ham to'sadi. Faqat 11,0 foizi o'qitishni to'sib, barcha AI qidiruv kroulerlariga ruxsat beradi, ko'pchilik, ehtimol, aynan shu sozlamani xohlagan edi.

O'z saytimni o'n daqiqada qanday tekshiraman?

  1. yoursite.com/robots.txt ni oching. O'zingizga kerak har bir AI krouler uchun uni nomi bilan atagan guruh bor-yo'qligini va u nima deyishini ko'ring. Kroulerni nomi bilan atagan guruh umumiy * guruhini butunlay almashtiradi.
  2. Fayl nima deyishini emas, server nima qilishini sinang. Asosiy sahifangizni brauzer sifatida ham, krouler sifatida ham so'rang. 403, 429, sarlavhasi Just a moment... bo'lgan sahifa yoki brauzernikidan ancha kichik javob xavfsizlik devori to'sig'ining belgisi.
  3. Assistentdan so'rang. Qidiruvni yoqib, ChatGPT yoki Perplexity'ga xaridorlaringiz beradigan savollarni bering va qaysi saytlarni manba qilib ko'rsatishini kuzating. Kirish joyida bo'lsa-yu, baribir ko'rinmasangiz, muammo kirishda emas, kontentda.

Bu raqamlar qanchalik ishonchli?

Ularni to'liq statistika emas, qonuniyat deb qabul qiling. Tanlanma tasodifiy emas: bular reklama kutubxonalari, ish e'lonlari saytlari va xarita ro'yxatlari orqali topilgan kompaniyalar. Biz bitta manzildan user agent bo'yicha sinaymiz, haqiqiy kroulerlar esa yetkazib beruvchilar e'lon qilgan manzillardan keladi, shuning uchun ba'zi xavfsizlik devorlari haqiqiylariga boshqacha munosabatda bo'lishi mumkin. Va to'siq har doim ham xato emas.

Bepul asboblar

Keyingi qadamlar

Ushbu maqoladagi kraulerlar

Koʻp beriladigan savollar

Saytlarning qancha qismi AI kroulerlarni to'saydi?

165 ta sinab bo'lingan biznes saytini auditimizda 38 foizi serverda kamida bitta AI kroulerni qaytargan, asosan o'qitish va skreyper botlarini. Taxminan 10 foizi AI qidiruv kroulerini ham rad etgan.

GPTBot'ni to'sish saytimni ChatGPT qidiruvidan chiqarib tashlaydimi?

Yo'q. OpenAI o'z kroulerlari uchun har bir robots.txt sozlamasi mustaqil ekanini aytadi: GPTBot o'qitishga, OAI-SearchBot ChatGPT qidiruviga tegishli. Birini to'sish ikkinchisini to'smaydi.

Sayt robots.txt'siz kroulerni qanday to'sa oladi?

Xavfsizlik devori, CDN yoki botdan himoya qoidasi kroulerga 403, 429 yoki challenge sahifa bilan javob berishi mumkin. robots.txt buni hech qachon ko'rsatmaydi, shuning uchun sahifani krouler sifatida so'rab sinash kerak.

Kroulerni qaytarish doim xatomi?

Yo'q. Ko'p egalar o'qitish kroulerlari va skreyperlarni kiritmaslikni xohlaydi. Xato qidiruv kroulerlarini tasodifan to'sishda, chunki sahifangizni manba qilib ko'rsatishi mumkin bo'lganlar aynan shular.

Manbalar

Boshqa maqolalar