Eng mashhur 10 000 saytning robots.txt'ini o'qidik. AI kroulerlar haqida ular nima qilmoqda
Tranco top 10 000 ro'yxatidagi robots.txt beradigan 6 192 ta domenning 23,2 foizi kamida bitta AI o'qitish kroulerini, 12,3 foizi kamida bitta AI qidiruv yoki foydalanuvchi kroulerini to'sadi. O'qitishni to'sadigan saytlarning 51,6 foizi AI qidiruvni ham to'sadi. Faqat 11,2 foizi o'qitishdan voz kechib, barcha AI qidiruv kroulerlariga ruxsat beradi.
Noyabr oyida eng mashhur 1 000 ta domenning robots.txt faylini o'qigan edik. Bu safar xuddi shu usul bilan 10 000 tasini o'qidik va saytlar kichraygan sari manzara qanday o'zgarishini tekshirdik. Asosiy xulosa o'zgarmadi: o'qitishni to'sish va qidiruvni to'sish bitta qaror sifatida qabul qilinadi, aslida ular ikkita.
Ushbu sahifada
Buni qanday o'lchadik?
Tranco ro'yxatining top 10 000 domenini oldik (ro'yxat ID'si JZWZY) va 2026-yil 21-noyabrda har bir domenning bosh sahifasi, robots.txt va llms.txt fayllarini AISeeWhy'ning o'z user agenti bilan bir martadan yukladik. Har bir robots.txt'ni RFC 9309 bo'yicha bosh sahifa (/) va 16 ta AI hamda qidiruv krouleri uchun baholadik.
10 000 ta domenning 6 192 tasi robots.txt berdi (HTML sahifa bo'lmagan muvaffaqiyatli javob). 1 121 tasi 4xx bilan javob berdi, bu qoidalar yo'q va barcha kroulerlarga ruxsat degani, 2 687 tasi esa fayl bermadi (HTTPS sayt yo'q, xatolar, kutish vaqti tugashi yoki o'rniga HTML sahifa). Quyidagi barcha foizlar 6 192 ta domenga nisbatan. Ro'yxatda veb-sayt bermaydigan CDN va API'lar ham bor.
Nimani topdik?
- 23,2 foizi (1 437 ta domen) kamida bitta AI o'qitish kroulerini to'sadi.
- 12,3 foizi (762 ta) kamida bitta AI qidiruv yoki foydalanuvchi kroulerini to'sadi, ya'ni ularning sahifalari shu kroulerga tayanadigan javoblarda ishlatilmasligi yoki manba sifatida ko'rsatilmasligi kerak.
- O'qitish kroulerini to'sadigan domenlarning 51,6 foizi (1 437 tadan 742 tasi) kamida bitta AI qidiruv yoki foydalanuvchi kroulerini ham to'sadi.
- Faqat 11,2 foizi (695 ta) tanlab yondashadi: o'qitish kroulerlarini to'sadi va barcha AI qidiruv hamda foydalanuvchi kroulerlariga ruxsat beradi.
- 6,5 foizi (401 ta) AI bo'yicha afzalliklarini
Content-Signalbilan e'lon qiladi. - Barcha 10 000 domenning 12,4 foizi (1 240 ta)
llms.txte'lon qiladi. - Taqqoslash uchun: 2,0 foizi (124 ta) bosh sahifada
Googlebotni to'sadi.
Qaysi kroulerlar eng ko'p to'siladi?
Kroulerga bosh sahifani taqiqlaydigan robots.txt'ga ega 6 192 ta domenning ulushi:
Bytespider18,7 foiz,CCBot18,5 foiz,GPTBot17,4 foiz,ClaudeBot16,5 foiz.Meta-ExternalAgent15,5 foiz,Google-Extended14,9 foiz,Applebot-Extended14,6 foiz.PerplexityBot10,4 foiz bilan eng ko'p to'siladigan AI qidiruv krouleri, undan keyinOAI-SearchBot7,0 foiz vaClaude-SearchBot7,0 foiz.- Inson so'raganda sahifani ochadigan kroulerlar:
ChatGPT-User8,9 foiz,Perplexity-User7,7 foiz,Claude-User7,4 foiz.
Katta saytlar ko'proq to'sadimi?
Ha, va ular o'qitish bilan qidiruvni ko'proq adashtiradi. Ro'yxatni o'rin bo'yicha bo'ldik:
- 1 dan 1 000 gacha o'rinlar (robots.txt'li 560 ta domen): 28,6 foizi o'qitishni, 18,6 foizi AI qidiruvni to'sadi, o'qitishni to'sadiganlarning 63,1 foizi AI qidiruvni ham to'sadi.
- 1 001 dan 3 000 gacha o'rinlar (1 256 ta domen): 23,5 foiz, 13,5 foiz va 55,6 foiz.
- 3 001 dan 10 000 gacha o'rinlar (4 376 ta domen): 22,4 foiz, 11,2 foiz va 48,6 foiz.
Tanlab yondashish har qanday o'lchamda kam uchraydi: uchta guruhdagi domenlarning 10,5 foizi, 10,4 foizi va 11,5 foizi.
12-noyabr hisobotimizdan beri biror narsa o'zgardimi?
Birinchi 1 000 ta domenni xuddi shu ro'yxat bilan qayta tekshirdik. Natija taxminan bir foiz oralig'ida barqaror: 28,6 foizi o'qitishni to'sadi (12-noyabrda 29,9 foiz), 18,6 foizi AI qidiruvni (19,5 foiz), o'qitishni to'sadiganlarning 63,1 foizi AI qidiruvni ham to'sadi (63,2 foiz). Maxrajlar biroz farq qiladi (hozir robots.txt'li 560 ta domen, o'shanda 518 ta), chunki bu safar fayl yuklashdan oldin domenning asosiy hostga yo'naltirishiga ergashiladi.
Bu sizning robots.txt'ingiz uchun nimani anglatadi?
Ko'pchilik AI kompaniyalari o'qitish va qidiruv uchun alohida kroulerlarni hujjatlashtiradi va sozlamalar mustaqil ekanini aytadi. GPTBot ni taqiqlash OAI-SearchBot ga tegmaydi, ClaudeBot ni taqiqlash esa Claude-SearchBot ga tegmaydi. O'qitishdan voz kechib, baribir manba sifatida ko'rsatilishni xohlasangiz, o'qitish tokenlarini to'sing, qidiruv va foydalanuvchi tokenlariga ruxsat bering, shaxsiy yo'llarni esa har bir guruhda takrorlang, chunki nomi bilan atalgan guruh * dan meros olmaydi.
Bu raqamlar qanchalik ishonchli?
Bular bosh sahifa uchun robots.txt qoidalari bo'lib, bitta parser bilan bitta kunda o'qilgan. Ular xavfsizlik devori to'siqlarini o'lchamaydi, devor esa robots.txt ruxsat bergan kroulerni ham rad etishi mumkin. Ular har bir sayt nimani niyat qilganini aytib bera olmaydi, Tranco ro'yxatida esa veb-sayt bermaydigan domenlar ham bor. Qidiruv kroulerini to'sadigan qoida xato ekaniga dalil emas, bu ko'pincha farqni bilmasdan qilingan tanlov xolos. Raqamlarni shu sahifaga havola bilan keltirishingiz mumkin.
Keyingi qadamlar
- AI kraulerlari uchun robots.txt tester va tekshiruvi
- llms.txt tekshiruvi va validatori
- Toʻliq hisobot namunasini koʻring
- AI kraulerlari monitoringi
- Tariflar va narxlar
Ushbu maqoladagi kraulerlar
Koʻp beriladigan savollar
Mashhur saytlarning qancha qismi AI kroulerlarni to'sadi?
Tranco top 10 000 ro'yxatidagi robots.txt beradigan 6 192 ta domenning 23,2 foizi kamida bitta AI o'qitish kroulerini, 12,3 foizi esa kamida bitta AI qidiruv yoki foydalanuvchi kroulerini to'sadi.
AI o'qitishni to'sadigan saytlar AI qidiruvni ham to'sadimi?
Ko'pincha. O'qitish kroulerini to'sadigan saytlarning 51,6 foizi kamida bitta AI qidiruv yoki foydalanuvchi kroulerini ham to'sadi, garchi yetkazib beruvchilar ularni mustaqil sozlamali alohida kroulerlar deb hujjatlashtirsa ham.
Qaysi AI krouler eng ko'p to'siladi?
O'qitish kroulerlari orasida Bytespider (18,7 foiz) va CCBot (18,5 foiz), keyin GPTBot (17,4 foiz). AI qidiruv kroulerlari orasida PerplexityBot eng ko'p to'siladi, domenlarning 10,4 foizida.
Nega raqamlar 1 000 ta sayt hisobotidan farq qiladi?
Birinchi 1 000 ta domen deyarli bir xil foizlarni beradi (29,9 va 19,5 foizga nisbatan 28,6 va 18,6 foiz). 10 000 ta saytdagi ko'rsatkichlar pastroq, chunki kichik saytlar kamroq to'sadi.
Manbalar
- AISeeWhy: AI Crawler Access Report, 2026-11
- Tranco: a research-oriented top sites ranking
- RFC 9309: Robots Exclusion Protocol
- OpenAI: Overview of OpenAI crawlers
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Perplexity: Perplexity crawlers