Ең танымал 10 000 сайттың robots.txt файлын оқыдық. AI краулерлеріне қатысты олар не істейді

Жарияланды

Қысқа жауап

Tranco топ-10 000 ішінде robots.txt беретін 6 192 доменнің 23,2%-ы кемінде бір AI оқыту краулерін, 12,3%-ы кемінде бір AI іздеу немесе пайдаланушы краулерін бөгейді. Оқытуды бөгейтін сайттардың 51,6%-ы AI іздеуді де бөгейді. Оқытудан бас тартып, барлық AI іздеу краулеріне рұқсат беретіні тек 11,2%.

Қарашада біз ең танымал 1 000 доменнің robots.txt файлын оқыдық. Бұл жолы сол әдіспен 10 000 доменді оқып, сайттар кішірейген сайын көрініс қалай өзгеретінін де тексердік. Негізгі қорытынды өзгермеді: оқытуды бөгеу мен іздеуді бөгеу екі бөлек шешім болса да, олар бір шешім ретінде қабылданады.

Осы бетте
  1. Біз мұны қалай өлшедік?
  2. Біз не таптық?
  3. Қай краулерлер жиі бөгеледі?
  4. Ірі сайттар көбірек бөгей ме?
  5. 12 қарашадағы есебімізден бері бірдеңе өзгерді ме?
  6. Бұл сіздің robots.txt файлыңыз үшін нені білдіреді?
  7. Бұл сандарға қаншалықты сенуге болады?

Біз мұны қалай өлшедік?

Біз Tranco тізімінің топ-10 000 доменін алдық (тізім ID: JZWZY) және 2026 жылғы 21 қарашада әр доменнің басты бетін, robots.txt және llms.txt файлдарын AISeeWhy-дың өз user agent-імен бір реттен сұрадық. Әр robots.txt файлын RFC 9309 бойынша басты бет (/) және 16 AI мен іздеу краулері үшін бағаладық.

10 000 доменнің 6 192-сі robots.txt берді (сәтті жауап, HTML беті емес). 1 121-і 4xx жауап берді, яғни ереже жоқ және барлық краулерге рұқсат, ал 2 687-сі файл бермеді (HTTPS сайты жоқ, қателер, күту уақытының бітуі немесе орнына HTML беті). Төмендегі барлық пайыздар 6 192-ден алынған. Тізімде сайт қызмет етпейтін CDN және API домендері бар.

Біз не таптық?

Қай краулерлер жиі бөгеледі?

robots.txt файлы басты бетті краулерге жапқан 6 192 доменнің үлесі:

Ірі сайттар көбірек бөгей ме?

Иә, әрі олар оқыту мен іздеуді жиірек араластырады. Тізімді рейтинг бойынша бөлдік:

Іріктеп бөгеу жолы кез келген өлшемде сирек: үш топтағы домендердің 10,5%-ы, 10,4%-ы және 11,5%-ы.

12 қарашадағы есебімізден бері бірдеңе өзгерді ме?

Біз бірінші 1 000 доменді сол тізіммен қайта өткіздік. Нәтиже шамамен бір пайыз шегінде тұрақты: 28,6%-ы оқытуды бөгейді (12 қарашада 29,9%), 18,6%-ы AI іздеуді бөгейді (19,5%), ал оқытуды бөгейтіндердің 63,1%-ы AI іздеуді де бөгейді (63,2%). Бөлімдер сәл өзгеше (қазір robots.txt бар 560 домен, ол кезде 518), себебі бұл жолы домен файлды сұрамай тұрып, өзінің негізгі хостына жіберетін редиректі ұстанады.

Бұл сіздің robots.txt файлыңыз үшін нені білдіреді?

AI компанияларының көбі оқыту және іздеу үшін бөлек краулерлерді сипаттап, параметрлердің тәуелсіз екенін айтады. GPTBot тыйым салу OAI-SearchBot краулеріне әсер етпейді, ал ClaudeBot тыйым салу Claude-SearchBot краулеріне әсер етпейді. Егер оқытудан бас тартып, сонда да дереккөз ретінде аталғыңыз келсе, оқыту токендерін бөгеп, іздеу және пайдаланушы токендеріне рұқсат беріңіз, ал жабық жолдарды әр топта қайталаңыз, өйткені аты берілген топ * тобынан ештеңе мұраламайды.

Бұл сандарға қаншалықты сенуге болады?

Бұл басты бет үшін robots.txt ережелері, оларды бір парсер бір күнде оқыды. Олар robots.txt рұқсат ететін краулерден бас тарта алатын брандмауэр бөгеулерін өлшемейді. Әр сайттың не ойлағанын айта алмайды, ал Tranco тізімінде сайт қызмет етпейтін домендер бар. Іздеу краулерін бөгейтін ереже қате екенінің дәлелі емес, тек айырмашылықты білмей жиі жасалатын таңдаудың белгісі. Сандарды осы бетке сілтеме жасап келтіруге болады.

Тегін құралдар

Келесі қадамдар

Осы мақаладағы краулерлер

Жиі қойылатын сұрақтар

Танымал сайттардың қандай бөлігі AI краулерлерін бөгейді?

Tranco топ-10 000 ішінде robots.txt беретін 6 192 доменнің 23,2%-ы кемінде бір AI оқыту краулерін, 12,3%-ы кемінде бір AI іздеу немесе пайдаланушы краулерін бөгейді.

AI оқытуды бөгейтін сайттар AI іздеуді де бөгей ме?

Жиі бөгейді. Оқыту краулерін бөгейтін сайттардың 51,6%-ы кемінде бір AI іздеу немесе пайдаланушы краулерін де бөгейді, дегенмен өндірушілер оларды тәуелсіз параметрлі бөлек краулерлер деп сипаттайды.

Қай AI краулері жиі бөгеледі?

Оқыту краулерлерінің ішінде Bytespider (18,7%) және CCBot (18,5%), одан кейін GPTBot (17,4%). AI іздеу краулерлерінің ішінде PerplexityBot жиі бөгеледі, домендердің 10,4%-ында.

Неге сандар 1 000 сайттық есебіңізден өзгеше?

Бірінші 1 000 домен дерлік бірдей пайыз береді (29,9% және 19,5% орнына 28,6% және 18,6%). 10 000 сайттың көрсеткіштері төмен, өйткені кіші сайттар аз бөгейді.

Дереккөздер

Басқа мақалалар