Почему мой сайт вдруг стал блокировать AI-краулеры?

Опубликовано

Короткий ответ

Если сайт начал блокировать AI-краулеры, почти всегда что-то изменилось в одном из пяти мест: в robots.txt, который реально отдаётся, в настройке CDN вроде политик Cloudflare для AI-краулеров, в защите от ботов или ограничении частоты запросов, в настройках хостинга по умолчанию или в robots.txt, который теперь отвечает ошибкой. Загрузите сегодняшний robots.txt и страницу от имени каждого краулера, сравните с браузером и с тем, что было раньше, и проверьте эти уровни именно в таком порядке.

Никто не решает исчезнуть из AI-ответов. Это происходит как побочный эффект обновления темы, настройки безопасности, переезда или изменённой настройки по умолчанию у поставщика. Браузер по-прежнему видит сайт как обычно, поэтому изменение может оставаться незамеченным, пока кто-нибудь не спросит ChatGPT или Perplexity о продукте и не получит в ответ конкурента. Каждый уровень оставляет следы, которые можно проверить снаружи или в логах.

На этой странице
  1. Изменился ли robots.txt, который получают краулеры?
  2. Изменили ли политики Cloudflare для AI-краулеров в 2026 году то, что разрешает мой сайт?
  3. Не ловит ли краулеры защита от ботов или ограничение частоты запросов?
  4. Не изменил ли хостинг настройки по умолчанию?
  5. Не отвечает ли robots.txt ошибкой?
  6. Как узнать, когда это началось?
  7. Как заметить это раньше в следующий раз?

Изменился ли robots.txt, который получают краулеры?

Загрузите https://yourdomain.com/robots.txt и сравните его с файлом в репозитории или резервной копии. Смотрите на отдаваемый файл, а не на файл на диске, потому что по дороге его могут изменить несколько уровней:

Отчёт о файле robots.txt в Google Search Console показывает версии, которые Google загружал за последние 30 дней, с новой записью при каждом изменении файла или результата загрузки. Он охватывает только то, что видел Google, но если ваш сервер не отдаёт разный robots.txt разным user agent, AI-краулеры получили тот же файл.

Изменили ли политики Cloudflare для AI-краулеров в 2026 году то, что разрешает мой сайт?

Cloudflare несколько раз меняла настройки для AI-краулеров, и некоторые изменения меняют поведение зоны без того, чтобы её кто-то редактировал. С 1 июля 2025 года она начала спрашивать новые домены при регистрации, разрешать ли AI-краулеры, с блокировкой в качестве исходного состояния. 1 июля 2026 года она заменила единый переключатель Block AI bots отдельными политиками Search, Agent и Training для всех тарифов, включая Free.

Больше всего сайтов подводят краулеры смешанного назначения. В документации Cloudflare сказано, что действия Training применяются и к краулерам, которые используются и для поиска, и для обучения. В июльском анонсе 2026 года говорилось, что с 15 сентября 2026 года многоцелевые краулеры вроде Googlebot, Applebot и BingBot будут блокироваться для клиентов, решивших блокировать Training, через новые опции или через старую настройку Block AI bots. Поэтому отказ от обучения, включённый год назад, теперь может затрагивать поисковые краулеры.

Настройки по умолчанию для новых доменов со временем описывались по-разному. В том же анонсе говорилось, что с 15 сентября 2026 года у новых доменов Training и Agent будут заблокированы на страницах с рекламой, а в документации о политиках, обновлённой 2 ноября 2026 года, сказано, что новые домены начинают со всех трёх в положении Allow. Откройте Security, затем Settings, отфильтруйте по Bot traffic и посмотрите AI Crawler and Agent access policies для своей зоны. Каждая настройка разобрана в нашем руководстве по Cloudflare AI Crawl Control.

Не ловит ли краулеры защита от ботов или ограничение частоты запросов?

Защита от ботов оценивает каждый запрос, а краулеры быстро загружают много страниц из дата-центров — ровно так и ведут себя боты. Краулер, который проходил в прошлом месяце, может начать получать страницы-проверки после того, как оператор сменит диапазоны IP или темп обхода, или после обновления правил защиты. Частая причина — Bot Fight Mode от Cloudflare, и Cloudflare пишет, что его нельзя обойти или пропустить с помощью пользовательских правил WAF или Page Rules, так что разрешающее правило, добавленное позже, не поможет, пока он включён. Новое ограничение частоты, которое отвечает на всплески кодом 429, так же действует на активный краулер.

Проверьте снаружи: запросите страницу как браузер и как два поисковых AI-краулера, а затем запросите robots.txt как краулер.

URL=https://example.com/page
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
          "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
          "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"; do
  curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" "$URL"
done

# robots.txt itself, as a crawler
curl -s -o /dev/null -w "%{http_code} %{content_type}\n" \
  -A "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)" \
  https://example.com/robots.txt

Код 403, 429 или 503 только для краулера, страница с заголовком Just a moment... или тело ответа намного меньше браузерного означают, что к краулеру относятся иначе. Тест идёт с вашего IP, а не с IP поставщика, поэтому правила, основанные на статусе проверенного бота, всё равно могут обращаться с настоящим краулером по-другому. Какое правило сработало, покажет журнал событий файрвола.

Не изменил ли хостинг настройки по умолчанию?

Некоторые хостинги фильтруют AI-трафик на уровне сервера, ещё до ваших собственных правил. SiteGround, например, в августе 2025 года написал, что по умолчанию блокирует AI-краулеры, предназначенные для сбора данных для обучения, и пропускает краулеры, которые приходят, когда человек спрашивает AI-ассистента о странице. Такие правила не видны в вашем robots.txt и могут меняться, когда хостинг обновляет списки ботов.

Если блокировка появляется одновременно на нескольких сайтах у одного хостинга или в ответах, которые никогда не доходят до логов вашего приложения, спросите хостинг, какие правила для ботов действуют для вашего аккаунта и можно ли сделать исключение для нужных вам краулеров.

Не отвечает ли robots.txt ошибкой?

Сбойный robots.txt может заблокировать больше, чем любая строка Disallow. По RFC 9309 ответ 4xx означает, что краулер может загружать всё, а ошибка сервера (5xx) или отсутствие ответа означает, что он должен считать запрещённым весь сайт. Google первые 12 часов таких ошибок прекращает сканирование, а затем до 30 дней использует последнюю рабочую копию.

Именно так всплеск нагрузки, правило файрвола, которое ставит проверку на /robots.txt, или ограничение частоты, которое его захватывает, могут отрезать добросовестные краулеры без изменения хотя бы одного правила. Последняя команда в тесте выше должна вернуть 200 и text/plain. 5xx, таймаут или страница-проверка там — первое, что нужно исправить.

Как узнать, когда это началось?

Дата превращает загадку в сравнение. В логах доступа отфильтруйте запросы с user agent AI-краулеров и найдите день, когда их коды ответа сменились с 200 на 403, 429 или 503, или день, когда они перестали запрашивать страницы после чтения robots.txt; команды есть в нашем руководстве по проверке логов сервера на AI-краулеры. Запросы, заблокированные CDN, до исходного сервера не доходят, поэтому проверьте и CDN. В Cloudflare AI Crawl Control показывает распределение кодов ответа во времени с фильтром по краулеру.

Затем сопоставьте эту дату с деплоями, обновлениями плагинов и тем, изменениями настроек CDN и анонсами поставщиков. Прежде чем что-то менять, убедитесь, что IP-адреса источников принадлежат поставщику, чтобы смотреть на настоящий краулер, а не на самозванца, который использует его имя.

Как заметить это раньше в следующий раз?

Проверяйте доступ после каждого деплоя, изменения CDN и обновления плагина, а не только когда падает трафик. Бесплатная проверка AISeeWhy загружает страницу как 16 AI- и поисковых краулеров рядом с настоящим браузером, применяет ваш robots.txt для каждого краулера и распознаёт страницы-проверки файрвола. Бесплатная проверка robots.txt показывает для каждого краулера, можно ли загрузить страницу по файлу, который действует сегодня.

Бесплатные инструменты

Что дальше

Краулеры в этой статье

Частые вопросы

Почему ChatGPT перестал показывать мой сайт?

Часто потому, что OAI-SearchBot, краулер, на котором работает поиск ChatGPT, оказался заблокирован изменением в robots.txt, политикой CDN или защитой от ботов. OpenAI пишет, что сайты, которые его блокируют, не появляются в поисковых ответах ChatGPT. Проверьте каждый уровень для этого краулера и после исправления robots.txt подождите около 24 часов — столько, по словам OpenAI, нужно её системам, чтобы учесть изменения.

Cloudflare начала блокировать Googlebot на моём сайте?

Такое возможно. Cloudflare сообщила, что с 15 сентября 2026 года клиенты, блокирующие Training, блокируют и многоцелевые краулеры вроде Googlebot, Applebot и BingBot. В её документации сказано, что опция Training Disallow блокирует краулеры обучения на edge, но не затрагивает краулеры смешанного назначения, поэтому проверьте, какая опция используется в вашей зоне.

Может ли конструктор сайтов или плагин изменить robots.txt за меня?

Да. Конструкторы сайтов и плагины SEO или безопасности могут записывать в robots.txt правила для AI-краулеров, а некоторые со временем расширяют свои списки ботов. После каждого обновления загружайте действующий файл и читайте группы, которые применяются к важным для вас поисковым краулерам.

Почему действующий robots.txt отличается от файла на сервере?

Его меняет что-то, что стоит перед вашим сервером. Управляемый robots.txt от Cloudflare, например, добавляет свои правила и сигналы контента перед вашим файлом в том же ответе. Заменить или дополнить его может и CMS, которая генерирует robots.txt на лету, или настройка на уровне хостинга.

Через сколько AI-краулеры вернутся после исправления?

По RFC 9309 краулерам не следует использовать закэшированный robots.txt дольше 24 часов, OpenAI называет около 24 часов, Perplexity — до 24 часов. Изменения в файрволе начинают действовать, как только поставщик их применит, но краулеры возвращаются по своему графику.

Источники

Другие статьи