Eng mashhur 10 000 saytning robots.txt'ini o'qidik. AI kroulerlar haqida ular nima qilmoqda

Eʼlon qilingan

Qisqa javob

Tranco top 10 000 ro'yxatidagi robots.txt beradigan 6 192 ta domenning 23,2 foizi kamida bitta AI o'qitish kroulerini, 12,3 foizi kamida bitta AI qidiruv yoki foydalanuvchi kroulerini to'sadi. O'qitishni to'sadigan saytlarning 51,6 foizi AI qidiruvni ham to'sadi. Faqat 11,2 foizi o'qitishdan voz kechib, barcha AI qidiruv kroulerlariga ruxsat beradi.

Noyabr oyida eng mashhur 1 000 ta domenning robots.txt faylini o'qigan edik. Bu safar xuddi shu usul bilan 10 000 tasini o'qidik va saytlar kichraygan sari manzara qanday o'zgarishini tekshirdik. Asosiy xulosa o'zgarmadi: o'qitishni to'sish va qidiruvni to'sish bitta qaror sifatida qabul qilinadi, aslida ular ikkita.

Ushbu sahifada
  1. Buni qanday o'lchadik?
  2. Nimani topdik?
  3. Qaysi kroulerlar eng ko'p to'siladi?
  4. Katta saytlar ko'proq to'sadimi?
  5. 12-noyabr hisobotimizdan beri biror narsa o'zgardimi?
  6. Bu sizning robots.txt'ingiz uchun nimani anglatadi?
  7. Bu raqamlar qanchalik ishonchli?

Buni qanday o'lchadik?

Tranco ro'yxatining top 10 000 domenini oldik (ro'yxat ID'si JZWZY) va 2026-yil 21-noyabrda har bir domenning bosh sahifasi, robots.txt va llms.txt fayllarini AISeeWhy'ning o'z user agenti bilan bir martadan yukladik. Har bir robots.txt'ni RFC 9309 bo'yicha bosh sahifa (/) va 16 ta AI hamda qidiruv krouleri uchun baholadik.

10 000 ta domenning 6 192 tasi robots.txt berdi (HTML sahifa bo'lmagan muvaffaqiyatli javob). 1 121 tasi 4xx bilan javob berdi, bu qoidalar yo'q va barcha kroulerlarga ruxsat degani, 2 687 tasi esa fayl bermadi (HTTPS sayt yo'q, xatolar, kutish vaqti tugashi yoki o'rniga HTML sahifa). Quyidagi barcha foizlar 6 192 ta domenga nisbatan. Ro'yxatda veb-sayt bermaydigan CDN va API'lar ham bor.

Nimani topdik?

Qaysi kroulerlar eng ko'p to'siladi?

Kroulerga bosh sahifani taqiqlaydigan robots.txt'ga ega 6 192 ta domenning ulushi:

Katta saytlar ko'proq to'sadimi?

Ha, va ular o'qitish bilan qidiruvni ko'proq adashtiradi. Ro'yxatni o'rin bo'yicha bo'ldik:

Tanlab yondashish har qanday o'lchamda kam uchraydi: uchta guruhdagi domenlarning 10,5 foizi, 10,4 foizi va 11,5 foizi.

12-noyabr hisobotimizdan beri biror narsa o'zgardimi?

Birinchi 1 000 ta domenni xuddi shu ro'yxat bilan qayta tekshirdik. Natija taxminan bir foiz oralig'ida barqaror: 28,6 foizi o'qitishni to'sadi (12-noyabrda 29,9 foiz), 18,6 foizi AI qidiruvni (19,5 foiz), o'qitishni to'sadiganlarning 63,1 foizi AI qidiruvni ham to'sadi (63,2 foiz). Maxrajlar biroz farq qiladi (hozir robots.txt'li 560 ta domen, o'shanda 518 ta), chunki bu safar fayl yuklashdan oldin domenning asosiy hostga yo'naltirishiga ergashiladi.

Bu sizning robots.txt'ingiz uchun nimani anglatadi?

Ko'pchilik AI kompaniyalari o'qitish va qidiruv uchun alohida kroulerlarni hujjatlashtiradi va sozlamalar mustaqil ekanini aytadi. GPTBot ni taqiqlash OAI-SearchBot ga tegmaydi, ClaudeBot ni taqiqlash esa Claude-SearchBot ga tegmaydi. O'qitishdan voz kechib, baribir manba sifatida ko'rsatilishni xohlasangiz, o'qitish tokenlarini to'sing, qidiruv va foydalanuvchi tokenlariga ruxsat bering, shaxsiy yo'llarni esa har bir guruhda takrorlang, chunki nomi bilan atalgan guruh * dan meros olmaydi.

Bu raqamlar qanchalik ishonchli?

Bular bosh sahifa uchun robots.txt qoidalari bo'lib, bitta parser bilan bitta kunda o'qilgan. Ular xavfsizlik devori to'siqlarini o'lchamaydi, devor esa robots.txt ruxsat bergan kroulerni ham rad etishi mumkin. Ular har bir sayt nimani niyat qilganini aytib bera olmaydi, Tranco ro'yxatida esa veb-sayt bermaydigan domenlar ham bor. Qidiruv kroulerini to'sadigan qoida xato ekaniga dalil emas, bu ko'pincha farqni bilmasdan qilingan tanlov xolos. Raqamlarni shu sahifaga havola bilan keltirishingiz mumkin.

Bepul asboblar

Keyingi qadamlar

Ushbu maqoladagi kraulerlar

Koʻp beriladigan savollar

Mashhur saytlarning qancha qismi AI kroulerlarni to'sadi?

Tranco top 10 000 ro'yxatidagi robots.txt beradigan 6 192 ta domenning 23,2 foizi kamida bitta AI o'qitish kroulerini, 12,3 foizi esa kamida bitta AI qidiruv yoki foydalanuvchi kroulerini to'sadi.

AI o'qitishni to'sadigan saytlar AI qidiruvni ham to'sadimi?

Ko'pincha. O'qitish kroulerini to'sadigan saytlarning 51,6 foizi kamida bitta AI qidiruv yoki foydalanuvchi kroulerini ham to'sadi, garchi yetkazib beruvchilar ularni mustaqil sozlamali alohida kroulerlar deb hujjatlashtirsa ham.

Qaysi AI krouler eng ko'p to'siladi?

O'qitish kroulerlari orasida Bytespider (18,7 foiz) va CCBot (18,5 foiz), keyin GPTBot (17,4 foiz). AI qidiruv kroulerlari orasida PerplexityBot eng ko'p to'siladi, domenlarning 10,4 foizida.

Nega raqamlar 1 000 ta sayt hisobotidan farq qiladi?

Birinchi 1 000 ta domen deyarli bir xil foizlarni beradi (29,9 va 19,5 foizga nisbatan 28,6 va 18,6 foiz). 10 000 ta saytdagi ko'rsatkichlar pastroq, chunki kichik saytlar kamroq to'sadi.

Manbalar

Boshqa maqolalar