Чому мій сайт раптом блокує AI-краулери?
Якщо сайт почав блокувати AI-краулери, майже завжди щось змінилося в одному з п’яти місць: у robots.txt, який фактично віддається, у налаштуваннях CDN, як-от AI-політиках Cloudflare для краулерів, у захисті від ботів чи ліміті запитів, у стандартних налаштуваннях хостингу або в robots.txt, який тепер відповідає помилкою. Завантажте сьогоднішній robots.txt і сторінку як кожен краулер, порівняйте з браузером і з тим, що було раніше, і перевірте ці рівні саме в такому порядку.
Ніхто не вирішує зникнути з AI-відповідей. Це стається як побічний ефект оновлення теми, налаштування безпеки, міграції чи зміненого стандартного значення в постачальника. Браузер і далі бачить сайт як звичайно, тож зміна може лишатися непоміченою, доки хтось не запитає ChatGPT чи Perplexity про продукт і не отримає у відповідь конкурента. Кожен рівень залишає сліди, які можна перевірити ззовні або в журналах.
На цій сторінці
- Чи змінився robots.txt, який отримують краулери?
- Чи змінили AI-політики Cloudflare 2026 року те, що дозволяє мій сайт?
- Чи не ловить краулери захист від ботів або ліміт запитів?
- Чи не змінив мій хостинг-провайдер стандартні налаштування?
- Чи не відповідає robots.txt помилкою?
- Як дізнатися, коли це почалося?
- Як помітити це раніше наступного разу?
Чи змінився robots.txt, який отримують краулери?
Завантажте https://yourdomain.com/robots.txt і порівняйте його з файлом у репозиторії чи резервній копії. Дивіться на файл, який віддається, а не на той, що лежить на диску, бо дорогою його можуть змінювати кілька рівнів:
- Деплой викочує robots.txt зі staging-середовища з
Disallow: /, або після міграції лишається стандартний файл платформи. - Налаштування конструктора сайтів додає правила для AI-краулерів. У Squarespace, наприклад, є опція Block known artificial intelligence crawlers, яка записує в robots.txt 26 назв ботів, і компанія зазначає, що з часом їх може побільшати. За замовчуванням її вимкнено, тож хтось має її ввімкнути, але потім список може зростати.
- Оновлення SEO-плагіна чи плагіна безпеки записує нові правила або додає нову опцію, яку хтось вмикає.
- Cloudflare додає свій керований robots.txt на початок вашого файлу, коли ввімкнено Bot Preference Sync, а для якоїсь AI-політики вибрано Block або Disallow. Тоді файл, що віддається, починається з
Disallow: /дляClaudeBot,GPTBotі ще шести токенів навчання, хоча ваш власний файл не змінювався. - Правило, призначене для краулера навчання, скопіювали на інші, зокрема на пошукові краулери, як-от
OAI-SearchBot,Claude-SearchBotабоPerplexityBot.
Звіт robots.txt у Google Search Console показує версії, які Google завантажував за останні 30 днів, з новим записом щоразу, коли змінювався файл або результат завантаження. Він охоплює лише те, що бачив Google, але якщо ваш сервер не віддає різні robots.txt для різних user agent, AI-краулери отримували той самий файл.
Чи змінили AI-політики Cloudflare 2026 року те, що дозволяє мій сайт?
Cloudflare кілька разів змінював свої налаштування для AI-краулерів, і деякі зміни впливають на поведінку зони без того, щоб хтось її редагував. 1 липня 2025 року компанія почала під час реєстрації питати нові домени, чи пропускати AI-краулери, з блокуванням як початковим станом. 1 липня 2026 року вона замінила єдиний перемикач Block AI bots окремими політиками Search, Agent і Training для всіх тарифів, включно з Free.
Найчастіше сайти підводять краулери змішаного призначення. У документації Cloudflare сказано, що дії Training застосовуються й до краулерів, які використовуються і для пошуку, і для навчання. В оголошенні від липня 2026 року йшлося про те, що з 15 вересня 2026 року багатоцільові краулери, як-от Googlebot, Applebot і BingBot, блокуватимуться для клієнтів, які вирішили блокувати Training, — чи то через нові опції, чи через старе налаштування Block AI bots. Тож відмова від навчання, налаштована рік тому, тепер може зачепити пошукові краулери.
Стандартні налаштування для нових доменів з часом описували по-різному. У тому самому оголошенні сказано, що з 15 вересня 2026 року для нових доменів Training і Agent блокуватимуться на сторінках із рекламою, тоді як у документації про політики, оновленій 2 листопада 2026 року, зазначено, що нові домени починають з Allow для всіх трьох. Відкрийте Security, потім Settings, відфільтруйте за Bot traffic і перегляньте AI Crawler and Agent access policies для своєї зони. Наш посібник про Cloudflare AI Crawl Control пояснює кожне налаштування.
Чи не ловить краулери захист від ботів або ліміт запитів?
Захист від ботів оцінює кожен запит, а краулери швидко завантажують багато сторінок із дата-центрів — саме так поводяться боти. Краулер, який проходив минулого місяця, може почати отримувати сторінки-перевірки після того, як його оператор змінить діапазони IP чи швидкість сканування, або після оновлення правил захисту. Поширена причина — Bot Fight Mode від Cloudflare, і Cloudflare зазначає, що його не можна обійти чи пропустити за допомогою WAF custom rules або Page Rules, тож дозвільне правило, додане пізніше, не допоможе, поки режим увімкнено. Новий ліміт запитів, що відповідає на сплески кодом 429, так само впливає на активний краулер.
Перевірте ззовні: запитайте сторінку як браузер і як два краулери AI-пошуку, а потім запитайте robots.txt як краулер.
URL=https://example.com/page
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
"Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"; do
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" "$URL"
done
# robots.txt itself, as a crawler
curl -s -o /dev/null -w "%{http_code} %{content_type}\n" \
-A "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)" \
https://example.com/robots.txt Код 403, 429 чи 503 лише для краулера, сторінка із заголовком Just a moment... або тіло відповіді, значно менше, ніж для браузера, означають, що до краулера ставляться інакше. Тест іде з вашої IP-адреси, а не з адреси постачальника, тож правила на основі статусу перевіреного бота можуть усе одно обробляти справжній краулер по-іншому. Журнал подій файрвола показує, яке правило спрацювало.
Чи не змінив мій хостинг-провайдер стандартні налаштування?
Деякі хостинги фільтрують AI-трафік на сервері ще до того, як спрацюють ваші власні правила. SiteGround, наприклад, у серпні 2025 року написав, що за замовчуванням блокує AI-краулери, призначені для збору даних для навчання, і пропускає краулери, які заходять, коли людина питає AI-асистента про сторінку. Такі правила не видно у вашому robots.txt, і вони можуть змінитися, коли хостинг оновлює свої списки ботів.
Якщо блокування з’являється одночасно на кількох сайтах в одного хостингу або у відповідях, які ніколи не доходять до журналів вашого застосунку, запитайте хостинг, які правила для ботів діють для вашого акаунта і чи можна зробити виняток для краулерів, яких ви хочете пропускати.
Чи не відповідає robots.txt помилкою?
robots.txt, який не відповідає як слід, може заблокувати більше, ніж будь-який рядок Disallow. За RFC 9309 відповідь 4xx означає, що краулер може завантажувати все, а помилка сервера (5xx) чи повна відсутність відповіді означає, що він має вважати забороненим весь сайт. Google зупиняє сканування на перші 12 годин таких помилок, а потім до 30 днів використовує останню справну копію.
Так стрибок навантаження, правило файрвола, що показує перевірку на /robots.txt, або ліміт запитів, який його охоплює, можуть закрити доступ сумлінним краулерам без жодної зміни правил. Остання команда в тесті вище має повернути 200 і text/plain. Якщо там 5xx, тайм-аут або сторінка-перевірка, це перше, що треба виправити.
Як дізнатися, коли це почалося?
Дата перетворює загадку на diff. У журналах доступу відфільтруйте запити від user agent AI-краулерів і знайдіть день, коли їхні коди статусу змінилися з 200 на 403, 429 чи 503, або день, коли вони перестали запитувати сторінки після читання robots.txt; команди є в нашому посібнику про перевірку журналів сервера на AI-краулери. Запити, які заблокував CDN, до origin-сервера не доходять, тож перевірте й CDN. У Cloudflare AI Crawl Control показує розподіл кодів статусу в часі з фільтром за краулером.
Потім зіставте цю дату з деплоями, оновленнями плагінів і тем, змінами налаштувань CDN та оголошеннями постачальників. Перш ніж діяти, переконайтеся, що IP джерел належать постачальнику, щоб ви дивилися на справжній краулер, а не на самозванця з його назвою.
Як помітити це раніше наступного разу?
Перевіряйте доступ після кожного деплою, зміни CDN і оновлення плагіна, а не лише тоді, коли падає трафік. Безкоштовна перевірка AISeeWhy завантажує сторінку як 16 AI- і пошукових краулерів поруч зі справжнім браузером, застосовує ваш robots.txt для кожного краулера й розпізнає сторінки-перевірки файрвола. Безкоштовна перевірка robots.txt показує для кожного краулера, чи можна завантажити сторінку згідно з файлом, який діє сьогодні.
Що далі
- Тестер і перевірка robots.txt для ШІ-краулерів
- Перевірка IP ШІ-краулерів
- Переглянути приклад повного звіту
- Моніторинг AI-краулерів
- Тарифи та ціни
Краулери в цій статті
Поширені запитання
Чому ChatGPT перестав показувати мій сайт?
Часто тому, що OAI-SearchBot, краулер, на якому працює пошук ChatGPT, опинився заблокованим через зміну robots.txt, політику CDN чи захист від ботів. OpenAI зазначає, що сайти, які його блокують, не з’являтимуться у відповідях пошуку ChatGPT. Перевірте кожен рівень для цього краулера і після виправлення robots.txt зачекайте близько 24 годин — стільки, за словами OpenAI, потрібно її системам, щоб підлаштуватися.
Чи почав Cloudflare блокувати Googlebot на моєму сайті?
Таке можливо. Cloudflare заявив, що з 15 вересня 2026 року клієнти, які блокують Training, блокують і багатоцільові краулери, як-от Googlebot, Applebot і BingBot. У документації сказано, що опція Training Disallow блокує краулери навчання на межі мережі, але не зачіпає краулери змішаного призначення, тож перевірте, яку опцію використовує ваша зона.
Чи може конструктор сайтів або плагін змінити robots.txt за мене?
Так. Конструктори сайтів і SEO-плагіни чи плагіни безпеки можуть записувати правила для AI-краулерів у robots.txt, а деякі з часом розширюють свої списки ботів. Після кожного оновлення завантажуйте живий файл і читайте групи, що стосуються важливих для вас пошукових краулерів.
Чому мій живий robots.txt відрізняється від файлу на сервері?
Його змінює щось перед вашим сервером. Керований robots.txt від Cloudflare, наприклад, додає на початок вашого файлу свої правила й content signals у тій самій відповіді. CMS, яка генерує robots.txt на запит, або налаштування на рівні хостингу теж можуть замінювати чи доповнювати його.
Через скільки часу AI-краулери повернуться після виправлення?
RFC 9309 каже, що краулерам не слід використовувати кешований robots.txt довше ніж 24 години, OpenAI називає близько 24 годин, а Perplexity — до 24 годин. Зміни у файрволі діють, щойно провайдер їх розгорне, але краулери повертаються за власним графіком.
Джерела
- RFC 9309: Robots Exclusion Protocol
- Google: How Google interprets the robots.txt specification
- Google Search Console Help: robots.txt report
- Cloudflare press release: Cloudflare just changed how AI crawlers scrape the internet-at-large
- Cloudflare blog: Your site, your rules: new AI traffic options for all customers
- Cloudflare changelog: AI traffic options (2026-07-01)
- Cloudflare: AI crawler and agent access policies
- Cloudflare: Managed robots.txt
- Cloudflare: Bot Fight Mode
- Cloudflare: Analyze AI traffic (AI Crawl Control)
- Squarespace Help: Request that AI models exclude your site
- SiteGround blog: The pros and cons of AI bot crawling
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers