Прочетохме robots.txt на 10 000 най-популярни сайта. Ето какво правят те с AI роботите
От 6192 домейна в Tranco top 10 000, които предоставят robots.txt, 23,2% блокират поне един AI робот за обучение, а 12,3% блокират поне един AI робот за търсене или потребителски робот. 51,6% от сайтовете, които блокират обучението, блокират и AI търсенето. Само 11,2% се отказват от обучението, но допускат всички AI роботи за търсене.
През ноември прочетохме robots.txt на 1000-те най-популярни домейна. Този път прочетохме 10 000 със същия метод и добавихме проверка как се променя картината при по-малките сайтове. Основният извод се потвърждава: блокирането на обучението и блокирането на търсенето се третират като едно решение, макар да са две.
На тази страница
Как измерихме?
Взехме топ 10 000 домейна от списъка на Tranco (ID на списъка JZWZY) и на 21 ноември 2026 г. изтеглихме по веднъж началната страница, robots.txt и llms.txt на всеки домейн, с потребителския агент на AISeeWhy. Оценихме всеки robots.txt по RFC 9309 за началната страница (/) и за 16 AI и търсачкови робота.
6192 от 10 000 домейна предоставяха robots.txt (успешен отговор, който не е HTML страница). 1121 отговориха с 4xx, което означава липса на правила и разрешени всички роботи, а 2687 не предоставяха такъв (няма HTTPS сайт, грешки, изтекло време или HTML страница вместо файл). Всички проценти по-долу са от 6192. Списъкът включва CDN и API, които не обслужват уебсайт.
Какво открихме?
- 23,2% (1437 домейна) блокират поне един AI робот за обучение.
- 12,3% (762) блокират поне един AI робот за търсене или потребителски робот, така че страниците не трябва да се ползват или цитират в отговорите, които се опират на него.
- 51,6% от домейните, които блокират робот за обучение (742 от 1437), блокират и поне един AI робот за търсене или потребителски робот.
- Само 11,2% (695) избират селективния подход: блокират роботите за обучение и допускат всички AI роботи за търсене и потребителски роботи.
- 6,5% (401) описват своите AI предпочитания с
Content-Signal. - 12,4% от всичките 10 000 домейна (1240) публикуват
llms.txt. - За сравнение, 2,0% (124) блокират
Googlebotна началната страница.
Кои роботи се блокират най-често?
Дял от 6192-та домейна, чийто robots.txt забранява началната страница за съответния робот:
Bytespider18,7%,CCBot18,5%,GPTBot17,4%,ClaudeBot16,5%.Meta-ExternalAgent15,5%,Google-Extended14,9%,Applebot-Extended14,6%.PerplexityBot10,4% е най-често блокираният AI робот за търсене, предOAI-SearchBot7,0% иClaude-SearchBot7,0%.- Роботите, които отварят страница, когато човек попита:
ChatGPT-User8,9%,Perplexity-User7,7%,Claude-User7,4%.
По-големите сайтове блокират ли повече?
Да, и по-често смесват обучението с търсенето. Разделихме списъка по ранг:
- Ранг от 1 до 1000 (560 домейна с robots.txt): 28,6% блокират обучение, 18,6% блокират AI търсене, а 63,1% от блокиращите обучение блокират и AI търсене.
- Ранг от 1001 до 3000 (1256 домейна): 23,5%, 13,5% и 55,6%.
- Ранг от 3001 до 10 000 (4376 домейна): 22,4%, 11,2% и 48,6%.
Селективният подход е рядък при всички размери: 10,5%, 10,4% и 11,5% от домейните в трите групи.
Променило ли се е нещо след доклада ни от 12 ноември?
Пуснахме отново първите 1000 домейна със същия списък. Резултатът е стабилен в рамките на около един пункт: 28,6% блокират обучение (29,9% на 12 ноември), 18,6% блокират AI търсене (19,5%), а 63,1% от блокиращите обучение блокират и AI търсене (63,2%). Базите са малко различни (сега 560 домейна с robots.txt, тогава 518), защото при този анализ следваме пренасочването на домейна към основния му хост, преди да изтеглим файла.
Какво означава това за вашия robots.txt?
Повечето AI компании описват отделни роботи за обучение и за търсене и казват, че настройките са независими. Забраната на GPTBot не засяга OAI-SearchBot, а забраната на ClaudeBot не засяга Claude-SearchBot. Ако искате да се откажете от обучението, но да бъдете цитирани, блокирайте токените за обучение и допуснете токените за търсене и потребителските, като повторите всички частни пътища във всяка група, защото именувана група не наследява от *.
Колко надеждни са тези числа?
Това са правила в robots.txt за началната страница, прочетени от един парсер в един ден. Те не измерват блокиранията от защитни стени, които могат да откажат робот, разрешен от robots.txt. Не могат да покажат какво е искал всеки сайт, а списъкът на Tranco включва домейни без уебсайт. Правило, което блокира робот за търсене, не е доказателство за грешка, а за избор, който често се прави, без да се знае разликата. Можете да цитирате данните с връзка към тази страница.
Следващи стъпки
- robots.txt тестер и проверка за AI ботове
- Проверка и валидатор на llms.txt
- Вижте пример за пълен отчет
- Наблюдение на AI ботове
- Планове и цени
Ботове в тази статия
Често задавани въпроси
Какъв дял от популярните сайтове блокират AI роботи?
Сред 6192-та домейна от Tranco top 10 000, които предоставят robots.txt, 23,2% блокират поне един AI робот за обучение, а 12,3% блокират поне един AI робот за търсене или потребителски робот.
Сайтовете, които блокират AI обучението, блокират ли и AI търсенето?
Често. 51,6% от сайтовете, които блокират робот за обучение, блокират и поне един AI робот за търсене или потребителски робот, макар доставчиците да ги описват като отделни роботи с независими настройки.
Кой AI робот се блокира най-често?
Сред роботите за обучение това са Bytespider (18,7%) и CCBot (18,5%), следвани от GPTBot (17,4%). Сред AI роботите за търсене най-често се блокира PerplexityBot, при 10,4% от домейните.
Защо числата се различават от доклада ви за 1000 сайта?
Първите 1000 домейна дават почти същите проценти (28,6% и 18,6% спрямо 29,9% и 19,5%). Числата за 10 000 сайта са по-ниски, защото по-малките сайтове блокират по-малко.
Източници
- AISeeWhy: Доклад за достъпа на AI роботи, 2026-11
- Tranco: класация на топ сайтове за изследвания
- RFC 9309: Протокол за изключване на роботи
- OpenAI: Преглед на роботите на OpenAI
- Anthropic: Събира ли Anthropic данни от мрежата и как собствениците на сайтове могат да блокират робота?
- Perplexity: Роботите на Perplexity