Четири от десет фирмени сайта отхвърлят AI краулърите
При одитите ни на 165 фирмени сайта в САЩ, Великобритания и Франция 38% са отхвърлили на сървъра поне един AI краулър, почти винаги бот за обучение или скрейпър. Около един сайт на десет е отказал достъп и на AI търсещ краулър като PerplexityBot или OAI-SearchBot, тоест на краулърите, които могат да доведат до цитиране. Проверете своя сайт с една заявка за всеки краулър.
Питате ChatGPT за собствения си продукт и той назовава конкурент, сайт с ревюта и тема във форум. Понякога причината е в съдържанието. Често обаче защитна стена отговаря на AI краулърите с отказ, който никой във вашия екип не е видял, защото сайтът работи нормално в браузъра.
На тази страница
Какво тествахме?
Заявяваме една страница няколко пъти от един и същ адрес: веднъж като обикновен браузър и по веднъж като всеки от 14 AI и търсещи краулъра, включително GPTBot, OAI-SearchBot и ChatGPT-User на OpenAI, ClaudeBot и Claude-SearchBot на Anthropic и PerplexityBot на Perplexity. Ако браузърът получи страницата, а краулърът получи 401, 403, 406, 429, 451, 503 или страница с проверка, сайтът отхвърля този краулър.
Извадката включва 218 фирмени сайта в САЩ, Великобритания и Франция, одитирани от 18 до 21 ноември 2026 г. Пълния тест успяхме да проведем при 165. Останалите 53 отказаха дори обикновената ни заявка като браузър или не отговориха, затова ги изключихме, вместо да гадаем.
Какво открихме?
- 38% от сайтовете, които можахме да тестваме (63 от 165), са отхвърлили поне един AI краулър.
- Всеки от тези сайтове е отхвърлил поне един краулър за обучение или скрейпър.
Bytespiderе отхвърлен от 35% от всички сайтове,ClaudeBotот 13%, аGPTBotот 11%. - 10% от сайтовете (16) са отхвърлили и поне един AI търсещ краулър, а 5% (8) са отхвърлили краулър, който отваря страница на живо, когато човек пита асистента за нея.
- Най-важните търсещи краулъри бяха
PerplexityBot(11 сайта) иOAI-SearchBot(5 сайта). - Cloudflare стои зад 32 от 66-те сайта, които са отхвърлили някой от тестваните краулъри. При други 30 не можахме да определим коя защитна стена е отговорила.
Защо се случва и кога е съзнателен избор?
Голяма част от това вероятно е умишлено. Много собственици не искат съдържанието им да се използва за обучение на модели, а настройките за защита от ботове, които блокират скрейпъри, се включват лесно. Това е напълно разумен избор.
Проблемът е, че AI компаниите използват отделни краулъри за обучение и за търсене. Блокирането на краулъра за обучение не изисква блокиране на търсещия, а именно търсещият краулър може да доведе до цитиране на вашата страница в отговор.
По-добре ли са най-големите сайтове?
Не особено. В нашия доклад за robots.txt сред 1000-те най-популярни домейна 29,9% от сайтовете с robots.txt блокират поне един AI краулър за обучение, а 63,2% от тях блокират и поне един AI търсещ или потребителски краулър. Само 11,0% блокират обучението, но допускат всички AI търсещи краулъри, а това е настройката, която повечето вероятно са искали.
Как да проверя собствения си сайт за десет минути?
- Отворете
yoursite.com/robots.txt. За всеки AI краулър, който ви интересува, вижте дали има група, която го назовава, и какво казва тя. Група, която назовава краулър, изцяло заменя общата група*. - Тествайте какво прави сървърът, а не какво пише във файла. Заявете ключова страница като браузър и като краулър. 403, 429, страница със заглавие
Just a moment...или отговор, много по-малък от този към браузъра, е типичен признак за блокиране от защитна стена. - Попитайте асистента. С включено търсене задайте на ChatGPT или Perplexity въпросите, които задават вашите купувачи, и вижте кои сайтове цитира. Ако достъпът е наред, а все пак ви няма, проблемът е в съдържанието, а не в достъпа.
Колко надеждни са тези числа?
Приемайте ги като тенденция, а не като преброяване. Извадката не е случайна: това са фирми, намерени чрез библиотеки с реклами, сайтове за обяви за работа и картови списъци. Тестваме по user agent от един адрес, докато истинските краулъри идват от адресите, публикувани от доставчиците им, така че някои защитни стени биха се държали различно с истинските. А блокирането не винаги е грешка.
Следващи стъпки
- robots.txt тестер и проверка за AI ботове
- Вижте пример за пълен отчет
- Наблюдение на AI ботове
- Планове и цени
Ботове в тази статия
Често задавани въпроси
Какъв дял от сайтовете блокират AI краулъри?
При нашия одит на 165 фирмени сайта, които можахме да тестваме, 38% са отхвърлили на сървъра поне един AI краулър, предимно ботове за обучение и скрейпъри. Около 10% са отхвърлили и AI търсещ краулър.
Блокирането на GPTBot изключва ли сайта ми от търсенето на ChatGPT?
Не. OpenAI казва, че всяка настройка в robots.txt за неговите краулъри е независима: GPTBot се отнася до обучението, OAI-SearchBot до търсенето в ChatGPT. Блокирането на единия не блокира другия.
Как сайт може да блокира краулър без robots.txt?
Правило на защитна стена, CDN или система за защита от ботове може да отговори на краулъра с 403, 429 или страница с проверка. robots.txt никога не показва това, затова трябва да се тества чрез заявка към страницата като краулър.
Грешка ли е винаги отхвърлянето на краулър?
Не. Много собственици искат да държат извън сайта краулърите за обучение и скрейпърите. Грешка е случайното блокиране на търсещи краулъри, защото точно те могат да цитират вашата страница.
Източници
- AISeeWhy: Доклад за достъпа на AI краулъри, 2026-11
- RFC 9309: Протокол за изключване на роботи
- OpenAI: Преглед на краулърите на OpenAI
- Perplexity: Краулърите на Perplexity
- Cloudflare: Управление на AI краулъри (AI Crawl Control)