Прочетохме robots.txt на 10 000 най-популярни сайта. Ето какво правят те с AI роботите

Публикувано

Кратък отговор

От 6192 домейна в Tranco top 10 000, които предоставят robots.txt, 23,2% блокират поне един AI робот за обучение, а 12,3% блокират поне един AI робот за търсене или потребителски робот. 51,6% от сайтовете, които блокират обучението, блокират и AI търсенето. Само 11,2% се отказват от обучението, но допускат всички AI роботи за търсене.

През ноември прочетохме robots.txt на 1000-те най-популярни домейна. Този път прочетохме 10 000 със същия метод и добавихме проверка как се променя картината при по-малките сайтове. Основният извод се потвърждава: блокирането на обучението и блокирането на търсенето се третират като едно решение, макар да са две.

На тази страница
  1. Как измерихме?
  2. Какво открихме?
  3. Кои роботи се блокират най-често?
  4. По-големите сайтове блокират ли повече?
  5. Променило ли се е нещо след доклада ни от 12 ноември?
  6. Какво означава това за вашия robots.txt?
  7. Колко надеждни са тези числа?

Как измерихме?

Взехме топ 10 000 домейна от списъка на Tranco (ID на списъка JZWZY) и на 21 ноември 2026 г. изтеглихме по веднъж началната страница, robots.txt и llms.txt на всеки домейн, с потребителския агент на AISeeWhy. Оценихме всеки robots.txt по RFC 9309 за началната страница (/) и за 16 AI и търсачкови робота.

6192 от 10 000 домейна предоставяха robots.txt (успешен отговор, който не е HTML страница). 1121 отговориха с 4xx, което означава липса на правила и разрешени всички роботи, а 2687 не предоставяха такъв (няма HTTPS сайт, грешки, изтекло време или HTML страница вместо файл). Всички проценти по-долу са от 6192. Списъкът включва CDN и API, които не обслужват уебсайт.

Какво открихме?

Кои роботи се блокират най-често?

Дял от 6192-та домейна, чийто robots.txt забранява началната страница за съответния робот:

По-големите сайтове блокират ли повече?

Да, и по-често смесват обучението с търсенето. Разделихме списъка по ранг:

Селективният подход е рядък при всички размери: 10,5%, 10,4% и 11,5% от домейните в трите групи.

Променило ли се е нещо след доклада ни от 12 ноември?

Пуснахме отново първите 1000 домейна със същия списък. Резултатът е стабилен в рамките на около един пункт: 28,6% блокират обучение (29,9% на 12 ноември), 18,6% блокират AI търсене (19,5%), а 63,1% от блокиращите обучение блокират и AI търсене (63,2%). Базите са малко различни (сега 560 домейна с robots.txt, тогава 518), защото при този анализ следваме пренасочването на домейна към основния му хост, преди да изтеглим файла.

Какво означава това за вашия robots.txt?

Повечето AI компании описват отделни роботи за обучение и за търсене и казват, че настройките са независими. Забраната на GPTBot не засяга OAI-SearchBot, а забраната на ClaudeBot не засяга Claude-SearchBot. Ако искате да се откажете от обучението, но да бъдете цитирани, блокирайте токените за обучение и допуснете токените за търсене и потребителските, като повторите всички частни пътища във всяка група, защото именувана група не наследява от *.

Колко надеждни са тези числа?

Това са правила в robots.txt за началната страница, прочетени от един парсер в един ден. Те не измерват блокиранията от защитни стени, които могат да откажат робот, разрешен от robots.txt. Не могат да покажат какво е искал всеки сайт, а списъкът на Tranco включва домейни без уебсайт. Правило, което блокира робот за търсене, не е доказателство за грешка, а за избор, който често се прави, без да се знае разликата. Можете да цитирате данните с връзка към тази страница.

Безплатни инструменти

Следващи стъпки

Ботове в тази статия

Често задавани въпроси

Какъв дял от популярните сайтове блокират AI роботи?

Сред 6192-та домейна от Tranco top 10 000, които предоставят robots.txt, 23,2% блокират поне един AI робот за обучение, а 12,3% блокират поне един AI робот за търсене или потребителски робот.

Сайтовете, които блокират AI обучението, блокират ли и AI търсенето?

Често. 51,6% от сайтовете, които блокират робот за обучение, блокират и поне един AI робот за търсене или потребителски робот, макар доставчиците да ги описват като отделни роботи с независими настройки.

Кой AI робот се блокира най-често?

Сред роботите за обучение това са Bytespider (18,7%) и CCBot (18,5%), следвани от GPTBot (17,4%). Сред AI роботите за търсене най-често се блокира PerplexityBot, при 10,4% от домейните.

Защо числата се различават от доклада ви за 1000 сайта?

Първите 1000 домейна дават почти същите проценти (28,6% и 18,6% спрямо 29,9% и 19,5%). Числата за 10 000 сайта са по-ниски, защото по-малките сайтове блокират по-малко.

Източници

Още статии