Защо сайтът ми изведнъж блокира AI ботовете?

Публикувано

Кратък отговор

Сайт, който започне да блокира AI ботове, почти винаги се е променил на едно от пет места: robots.txt, който реално се изпраща, настройка в CDN като AI политиките за ботове на Cloudflare, защита от ботове или ограничение на честотата, настройка по подразбиране на хостинга, или robots.txt, който вече отговаря с грешка. Изтеглете днешния robots.txt и една страница като всеки бот, сравнете ги с браузър и с това, което сте имали преди, и проверете тези слоеве в този ред.

Никой не решава да изчезне от отговорите на AI. Това се случва като страничен ефект от обновяване на темата, настройка за сигурност, миграция или променена настройка по подразбиране при доставчик. Браузърът продължава да вижда сайта нормално, така че промяната може да остане незабелязана, докато някой не попита ChatGPT или Perplexity за продукта и не получи конкурент. Всеки слой оставя следи, които можете да проверите отвън или в логовете си.

На тази страница
  1. Променил ли се е robots.txt, който получават ботовете?
  2. Промениха ли AI политиките за ботове на Cloudflare от 2026 г. какво разрешава сайтът ми?
  3. Хваща ли защитата от ботове или ограничението на честотата ботовете?
  4. Променил ли е хостинг доставчикът ми настройките си по подразбиране?
  5. Отговаря ли robots.txt с грешка?
  6. Как да разбера кога е започнало?
  7. Как да го забележа по-рано следващия път?

Променил ли се е robots.txt, който получават ботовете?

Изтеглете https://yourdomain.com/robots.txt и го сравнете с файла в хранилището или резервното ви копие. Гледайте изпратения файл, а не този на диска, защото няколко слоя могат да го променят по пътя:

Отчетът за robots.txt в Google Search Console показва версиите, които Google е изтеглил през последните 30 дни, с нов запис всеки път, когато файлът или резултатът от изтеглянето се промени. Той покрива само това, което е видял Google, но освен ако сървърът ви не променя robots.txt според user agent, AI ботовете са получили същия файл.

Промениха ли AI политиките за ботове на Cloudflare от 2026 г. какво разрешава сайтът ми?

Cloudflare промени контролите си за AI ботове няколко пъти и някои промени променят поведението на зоната, без никой да я редактира. На 1 юли 2025 г. започна да пита новите домейни при регистрация дали да разрешават AI ботове, с блокиране като начално състояние. На 1 юли 2026 г. замени единичния превключвател Block AI bots с отделни политики Search, Agent и Training за всички планове, включително Free.

Детайлът, който хваща повечето сайтове, са ботовете със смесено предназначение. Документацията на Cloudflare посочва, че действията за Training важат и за ботове, използвани както за търсене, така и за обучение. Обявата от юли 2026 г. казваше, че от 15 септември 2026 г. ботове с няколко предназначения като Googlebot, Applebot и BingBot ще бъдат блокирани за клиенти, избрали да блокират Training, било чрез новите опции, било чрез старата настройка Block AI bots. Така отказ от обучение, зададен преди година, сега може да засегне ботовете за търсене.

Настройките по подразбиране за нови домейни са описвани различно с времето. Същата обява казваше, че новите домейни ще имат блокирани Training и Agent на страници с реклами от 15 септември 2026 г., докато документацията на политиките, обновена на 2 ноември 2026 г., посочва, че новите домейни започват и с трите на Allow. Отворете Security, после Settings, филтрирайте по Bot traffic и прочетете AI Crawler and Agent access policies за своята зона. Ръководството ни за Cloudflare AI Crawl Control обяснява всяка настройка.

Хваща ли защитата от ботове или ограничението на честотата ботовете?

Защитата от ботове преценява всяка заявка, а ботовете изтеглят много страници бързо от центрове за данни, което е точно поведението на ботовете. Бот, който е минавал миналия месец, може да започне да получава страници за проверка, след като операторът му смени IP диапазоните или честотата на обхождане, или след обновяване на правилата за защита. Bot Fight Mode на Cloudflare е честа причина, а Cloudflare казва, че той не може да бъде заобиколен или пропуснат с персонализирани правила на WAF или Page Rules, така че правило за разрешаване, добавено по-късно, няма да помогне, докато е включен. Ново ограничение на честотата, което отговаря на пиковете с 429, има същия ефект върху натоварен бот.

Тествайте отвън: заявете страница като браузър и като два AI бота за търсене, след това заявете robots.txt като бот.

URL=https://example.com/page
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
          "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
          "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"; do
  curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" "$URL"
done

# robots.txt itself, as a crawler
curl -s -o /dev/null -w "%{http_code} %{content_type}\n" \
  -A "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)" \
  https://example.com/robots.txt

403, 429 или 503 само за бот, страница със заглавие Just a moment... или тяло, много по-малко от това на браузъра, означава, че ботът се третира различно. Тестът идва от вашия IP адрес, а не от този на доставчика, така че правила, базирани на статус на проверен бот, може все пак да третират истинския бот различно. Дневникът на събитията на защитната стена показва кое правило е отговорило.

Променил ли е хостинг доставчикът ми настройките си по подразбиране?

Някои хостинги филтрират AI трафика на сървъра, преди да се изпълнят вашите собствени правила. SiteGround например писа през август 2025 г., че по подразбиране блокира AI ботове, създадени да събират данни за обучение, и пропуска ботове, които посещават страница, когато човек пита AI асистент за нея. Такива правила не се появяват в robots.txt и могат да се променят, когато хостингът обнови списъците си с ботове.

Ако блокиране се появи едновременно на няколко сайта при един и същ хостинг или в отговори, които никога не стигат до логовете на приложението ви, попитайте хостинга кои правила за ботове важат за акаунта ви и дали можете да изключите от тях ботовете, които искате да запазите.

Отговаря ли robots.txt с грешка?

robots.txt, който не работи, може да блокира повече от всеки ред Disallow. Според RFC 9309 отговор 4xx означава, че ботът може да изтегля всичко, но сървърна грешка (5xx) или липса на отговор означава, че трябва да приеме целия сайт за забранен. Google спира обхождането през първите 12 часа от такива грешки и после използва последното си добро копие до 30 дни.

Така пик в натоварването, правило на защитната стена, което проверява /robots.txt, или ограничение на честотата, което го включва, може да спре добронамерените ботове, без да се промени нито едно правило. Последната команда в теста по-горе трябва да върне 200 и text/plain. 5xx, изтекло време или страница за проверка там е първото нещо, което трябва да поправите.

Как да разбера кога е започнало?

Датата превръща загадката в разлика, която може да се сравни. В логовете за достъп филтрирайте заявките от user agents на AI ботове и потърсете деня, в който статус кодовете им са се сменили от 200 на 403, 429 или 503, или деня, в който са спрели да заявяват страници, след като са прочели robots.txt; ръководството ни за проверка на логовете на сървъра за AI ботове съдържа командите. Заявките, блокирани от CDN, никога не стигат до основния сървър, затова проверете и CDN. В Cloudflare AI Crawl Control показва разпределението на статус кодовете във времето, което можете да филтрирате по бот.

След това сравнете тази дата с внедряванията, обновяванията на плъгини и теми, промените в настройките на CDN и обявите на доставчиците. Преди да действате, потвърдете, че IP адресите на източника принадлежат на доставчика, така че да гледате истинския бот, а не самозванец, който използва името му.

Как да го забележа по-рано следващия път?

Проверявайте достъпа след всяко внедряване, промяна в CDN и обновяване на плъгин, а не само когато трафикът спадне. Безплатната проверка на AISeeWhy изтегля страница като 16 AI бота и бота на търсачки редом с истински браузър, прилага robots.txt за всеки бот и разпознава страници за проверка на защитни стени. Безплатният robots.txt тестер показва за всеки бот дали страница може да бъде изтеглена според файла, който е активен днес.

Безплатни инструменти

Следващи стъпки

Ботове в тази статия

Често задавани въпроси

Защо ChatGPT спря да показва сайта ми?

Често защото OAI-SearchBot, ботът зад търсенето в ChatGPT, е бил блокиран от промяна в robots.txt, политика на CDN или защита от ботове. OpenAI казва, че сайтовете, които го блокират, няма да се появяват в отговорите на търсенето в ChatGPT. Проверете всеки слой за този бот и изчакайте около 24 часа след поправка в robots.txt, толкова, колкото според OpenAI са нужни на системите ѝ да се адаптират.

Започна ли Cloudflare да блокира Googlebot на сайта ми?

Може да се случи. Cloudflare обяви, че от 15 септември 2026 г. клиентите, които блокират Training, блокират и ботове с няколко предназначения като Googlebot, Applebot и BingBot. Документацията му посочва, че опцията Training Disallow блокира ботовете за обучение на ниво edge, но пропуска ботовете със смесено предназначение, така че проверете коя опция използва зоната ви.

Може ли конструктор на сайтове или плъгин да промени robots.txt вместо мен?

Да. Конструкторите на сайтове и SEO плъгините или плъгините за сигурност могат да записват правила за AI ботове в robots.txt, а някои разширяват списъците си с ботове с времето. След всяко обновяване изтегляйте файла на живо и четете групите, които важат за ботовете за търсене, които са ви важни.

Защо robots.txt на живо се различава от файла на сървъра ми?

Нещо пред сървъра ви го променя. Управляваният robots.txt на Cloudflare например добавя собствените си правила и content signals в началото на вашия файл в същия отговор. CMS, който генерира robots.txt при заявка, или настройка на ниво хостинг също може да го замени или разшири.

За колко време AI ботовете се връщат, след като поправя проблема?

RFC 9309 казва, че ботовете не бива да използват кеширан robots.txt повече от 24 часа, OpenAI посочва около 24 часа, а Perplexity до 24 часа. Промените в защитната стена важат веднага щом доставчикът ви ги внедри, но ботовете се връщат по собствен график.

Източници

Още статии