Ең танымал 10 000 сайттың robots.txt файлын оқыдық. AI краулерлеріне қатысты олар не істейді
Tranco топ-10 000 ішінде robots.txt беретін 6 192 доменнің 23,2%-ы кемінде бір AI оқыту краулерін, 12,3%-ы кемінде бір AI іздеу немесе пайдаланушы краулерін бөгейді. Оқытуды бөгейтін сайттардың 51,6%-ы AI іздеуді де бөгейді. Оқытудан бас тартып, барлық AI іздеу краулеріне рұқсат беретіні тек 11,2%.
Қарашада біз ең танымал 1 000 доменнің robots.txt файлын оқыдық. Бұл жолы сол әдіспен 10 000 доменді оқып, сайттар кішірейген сайын көрініс қалай өзгеретінін де тексердік. Негізгі қорытынды өзгермеді: оқытуды бөгеу мен іздеуді бөгеу екі бөлек шешім болса да, олар бір шешім ретінде қабылданады.
Осы бетте
Біз мұны қалай өлшедік?
Біз Tranco тізімінің топ-10 000 доменін алдық (тізім ID: JZWZY) және 2026 жылғы 21 қарашада әр доменнің басты бетін, robots.txt және llms.txt файлдарын AISeeWhy-дың өз user agent-імен бір реттен сұрадық. Әр robots.txt файлын RFC 9309 бойынша басты бет (/) және 16 AI мен іздеу краулері үшін бағаладық.
10 000 доменнің 6 192-сі robots.txt берді (сәтті жауап, HTML беті емес). 1 121-і 4xx жауап берді, яғни ереже жоқ және барлық краулерге рұқсат, ал 2 687-сі файл бермеді (HTTPS сайты жоқ, қателер, күту уақытының бітуі немесе орнына HTML беті). Төмендегі барлық пайыздар 6 192-ден алынған. Тізімде сайт қызмет етпейтін CDN және API домендері бар.
Біз не таптық?
- 23,2%-ы (1 437 домен) кемінде бір AI оқыту краулерін бөгейді.
- 12,3%-ы (762) кемінде бір AI іздеу немесе пайдаланушы краулерін бөгейді, яғни сол краулерге сүйенетін жауаптар бұл беттерді пайдаланбауы және оларға сілтеме бермеуі тиіс.
- Оқыту краулерін бөгейтін домендердің 51,6%-ы (1 437-нің 742-сі) кемінде бір AI іздеу немесе пайдаланушы краулерін де бөгейді.
- Тек 11,2%-ы (695) іріктеп жұмыс істейді: оқыту краулерлерін бөгейді, ал барлық AI іздеу және пайдаланушы краулерлеріне рұқсат береді.
- 6,5%-ы (401) AI қалауларын
Content-Signalарқылы жариялайды. - Барлық 10 000 доменнің 12,4%-ы (1 240)
llms.txtжариялайды. - Салыстыру үшін, 2,0%-ы (124) басты бетте
Googlebotкраулерін бөгейді.
Қай краулерлер жиі бөгеледі?
robots.txt файлы басты бетті краулерге жапқан 6 192 доменнің үлесі:
Bytespider18,7%,CCBot18,5%,GPTBot17,4%,ClaudeBot16,5%.Meta-ExternalAgent15,5%,Google-Extended14,9%,Applebot-Extended14,6%.PerplexityBot10,4% ең жиі бөгелетін AI іздеу краулері, одан кейінOAI-SearchBot7,0% жәнеClaude-SearchBot7,0%.- Адам сұраған кезде бетті ашатын краулерлер:
ChatGPT-User8,9%,Perplexity-User7,7%,Claude-User7,4%.
Ірі сайттар көбірек бөгей ме?
Иә, әрі олар оқыту мен іздеуді жиірек араластырады. Тізімді рейтинг бойынша бөлдік:
- 1–1 000 орындар (robots.txt бар 560 домен): 28,6%-ы оқытуды бөгейді, 18,6%-ы AI іздеуді бөгейді, ал оқытуды бөгейтіндердің 63,1%-ы AI іздеуді де бөгейді.
- 1 001–3 000 орындар (1 256 домен): 23,5%, 13,5% және 55,6%.
- 3 001–10 000 орындар (4 376 домен): 22,4%, 11,2% және 48,6%.
Іріктеп бөгеу жолы кез келген өлшемде сирек: үш топтағы домендердің 10,5%-ы, 10,4%-ы және 11,5%-ы.
12 қарашадағы есебімізден бері бірдеңе өзгерді ме?
Біз бірінші 1 000 доменді сол тізіммен қайта өткіздік. Нәтиже шамамен бір пайыз шегінде тұрақты: 28,6%-ы оқытуды бөгейді (12 қарашада 29,9%), 18,6%-ы AI іздеуді бөгейді (19,5%), ал оқытуды бөгейтіндердің 63,1%-ы AI іздеуді де бөгейді (63,2%). Бөлімдер сәл өзгеше (қазір robots.txt бар 560 домен, ол кезде 518), себебі бұл жолы домен файлды сұрамай тұрып, өзінің негізгі хостына жіберетін редиректі ұстанады.
Бұл сіздің robots.txt файлыңыз үшін нені білдіреді?
AI компанияларының көбі оқыту және іздеу үшін бөлек краулерлерді сипаттап, параметрлердің тәуелсіз екенін айтады. GPTBot тыйым салу OAI-SearchBot краулеріне әсер етпейді, ал ClaudeBot тыйым салу Claude-SearchBot краулеріне әсер етпейді. Егер оқытудан бас тартып, сонда да дереккөз ретінде аталғыңыз келсе, оқыту токендерін бөгеп, іздеу және пайдаланушы токендеріне рұқсат беріңіз, ал жабық жолдарды әр топта қайталаңыз, өйткені аты берілген топ * тобынан ештеңе мұраламайды.
Бұл сандарға қаншалықты сенуге болады?
Бұл басты бет үшін robots.txt ережелері, оларды бір парсер бір күнде оқыды. Олар robots.txt рұқсат ететін краулерден бас тарта алатын брандмауэр бөгеулерін өлшемейді. Әр сайттың не ойлағанын айта алмайды, ал Tranco тізімінде сайт қызмет етпейтін домендер бар. Іздеу краулерін бөгейтін ереже қате екенінің дәлелі емес, тек айырмашылықты білмей жиі жасалатын таңдаудың белгісі. Сандарды осы бетке сілтеме жасап келтіруге болады.
Келесі қадамдар
- ЖИ краулерлеріне арналған robots.txt тестері мен тексерушісі
- llms.txt тексерушісі мен валидаторы
- Толық есептің мысалын қараңыз
- ЖИ краулерлерін бақылау
- Жоспарлар мен бағалар
Осы мақаладағы краулерлер
Жиі қойылатын сұрақтар
Танымал сайттардың қандай бөлігі AI краулерлерін бөгейді?
Tranco топ-10 000 ішінде robots.txt беретін 6 192 доменнің 23,2%-ы кемінде бір AI оқыту краулерін, 12,3%-ы кемінде бір AI іздеу немесе пайдаланушы краулерін бөгейді.
AI оқытуды бөгейтін сайттар AI іздеуді де бөгей ме?
Жиі бөгейді. Оқыту краулерін бөгейтін сайттардың 51,6%-ы кемінде бір AI іздеу немесе пайдаланушы краулерін де бөгейді, дегенмен өндірушілер оларды тәуелсіз параметрлі бөлек краулерлер деп сипаттайды.
Қай AI краулері жиі бөгеледі?
Оқыту краулерлерінің ішінде Bytespider (18,7%) және CCBot (18,5%), одан кейін GPTBot (17,4%). AI іздеу краулерлерінің ішінде PerplexityBot жиі бөгеледі, домендердің 10,4%-ында.
Неге сандар 1 000 сайттық есебіңізден өзгеше?
Бірінші 1 000 домен дерлік бірдей пайыз береді (29,9% және 19,5% орнына 28,6% және 18,6%). 10 000 сайттың көрсеткіштері төмен, өйткені кіші сайттар аз бөгейді.
Дереккөздер
- AISeeWhy: AI Crawler Access Report, 2026-11
- Tranco: зерттеуге бағытталған ең үздік сайттар рейтингі
- RFC 9309: Robots Exclusion Protocol
- OpenAI: OpenAI краулерлеріне шолу
- Anthropic: Anthropic вебтен деректерді жинай ма және сайт иелері краулерді қалай бөгей алады?
- Perplexity: Perplexity краулерлері