Как да проверите дали сайт блокира AI ботове

Поставете който и да е адрес и вижте дали блокира GPTBot, ClaudeBot, PerplexityBot и останалите AI ботове: в robots.txt, в защитната стена или на двете места.

Безплатно · Без регистрация · Резултат за 30 секунди

Кои ботове са блокирани

Ботовете за обучение, за търсене и за заявки от потребители се показват поотделно, защото блокирането на GPTBot не блокира OAI-SearchBot, а блокирането на ClaudeBot не блокира Claude-SearchBot.

Редът, който решава

За всеки бот robots.txt се чете по правилата на RFC 9309: групата, която го назовава, или User-agent: * като резервен вариант, и правилото, което печели.

Откази от защитната стена

Страницата се заявява като 14 бота и като обикновен браузър. Блокиранията и страниците за проверка се отбелязват, а защитната стена, която е отговорила, се назовава.

Поправка за всяка находка

Към всяка находка има промяна, която трябва да направите. Безплатната проверка показва резултата ви и първата находка; пълният доклад струва $29, еднократно.

Кратък отговор

Сайтът може да блокира AI ботове на две места: в robots.txt, който моли ботовете да стоят настрана, и на сървъра или защитната стена, които реално ги отказват. В robots.txt потърсете групата за токена на всеки бот, а ако няма такава – групата User-agent: *. После изтеглете страницата като бота и я сравнете с това, което получава браузърът. Разширение за браузър прави проверката на robots.txt за 16 AI бота с едно щракване.

Проверете на ръка в 3 стъпки

  1. Изберете бота

    Всяка AI компания има отделни ботове. За обучение: GPTBot, ClaudeBot. За търсене: OAI-SearchBot, Claude-SearchBot, PerplexityBot. По заявка на човек: ChatGPT-User, Claude-User, Perplexity-User.

  2. Прочетете robots.txt за него

    Отворете https://example.com/robots.txt и намерете групата, която назовава бота. Ако няма такава, важи групата User-agent: *; ако няма и нея, всичко е разрешено.

  3. Изтеглете страницата като бота

    Заявете страницата с user agent на бота и сравнете статуса и размера с тези при браузър. 403, страница за проверка или много по-малък отговор 200 означава, че защитната стена го отказва.

Често задавани въпроси

Отворен ли е за AI ботове сайт без robots.txt?

Да, доколкото става дума за robots.txt. Отговор 404 за robots.txt означава, че няма правила, така че всеки бот може да изтегли всяка страница. Защитната стена все пак може да блокира ботовете.

Показва ли разширението блокирания от защитна стена?

Не. То чете robots.txt от браузъра ви, което показва какво сайтът иска от ботовете. За блокиранията от защитна стена и защита от ботове е нужна заявка, изпратена като бота, а това прави пълната проверка на aiseewhy.com.

Мога ли да проверя сайт, който не е мой?

Да. robots.txt е публичен, а разширението чете само файловете robots.txt и llms.txt, които сайтът публикува – същите файлове, които чете всеки бот.

Прочетете пълното ръководство

Независимо дали проверявате собствения си сайт след промяна, или гледате чужд, преди да разчитате на него, въпросът „блокира ли този сайт AI ботове?“ има точен отговор. Той зависи от това кой бот имате предвид, защото AI компаниите използват отделни ботове за обучение, за търсене и за посещения в реално време, а сайтът може да третира всеки от тях различно. Това ръководство показва три проверки – от най-бързата до най-пълната.

Къде сайтът може да блокира AI ботове?

Има три слоя и ботът трябва да мине през всички, за да използва страницата.

  • robots.txt: публичен файл с правила, който добронамерените ботове четат, преди да изтеглят каквото и да е. Това е молба, а не ключалка.
  • Сървърът, CDN или защитната стена: те решават какво реално се връща. Правило за защита от ботове може да отговори на бота с 403, 429 или страница за проверка, дори когато robots.txt го разрешава.
  • Самата страница: ако основният текст се появява едва след изпълнение на JavaScript, ботът, който чете първоначалния HTML, получава почти празна страница, макар нищо да не го е блокирало.

Повечето бързи проверки гледат само първия слой. Това е добро начало, стига да помните и другите два.

Как да прочета robots.txt за един AI бот?

Отворете https://example.com/robots.txt в браузър и намерете групата, която важи за бота. Групата започва с един или повече реда User-agent. Ботът използва групата, която назовава неговия токен, например GPTBot; главните и малките букви нямат значение. Ако никоя група не го назовава, той използва групата User-agent: *. Ако няма нито едната, нито другата, всичко е разрешено.

В рамките на групата печели правилото с най-дългия съвпадащ път, а когато Allow и Disallow са еднакво дълги, печели Allow. Затова файлът по-долу блокира GPTBot за целия сайт, но пуска всички други ботове:

User-agent: GPTBot
Disallow: /

User-agent: *
Allow: /

Вижте и как отговаря файлът. Според RFC 9309 отговор 404 означава, че няма правила, така че всичко е разрешено. Грешка на сървъра (5xx) или липса на отговор означава, че ботът трябва да смята целия сайт за забранен. Честа грешка е адрес на robots.txt, който връща HTML страница: ботовете не намират в нея валидни правила.

Как да проверя всички AI ботове наведнъж?

Ръчното четене на файла става бавно, щом ви интересува повече от един бот. Всяка AI компания използва няколко бота с различни задачи:

  • Ботовете за обучение събират съдържание за обучение на модели: GPTBot, ClaudeBot, CCBot, Bytespider, meta-externalagent, както и токените Google-Extended и Applebot-Extended, които се срещат само в robots.txt.
  • Ботовете за търсене индексират страници, за да могат AI отговорите да ги цитират: OAI-SearchBot, Claude-SearchBot, PerplexityBot.
  • Потребителските ботове изтеглят страница, когато човек помоли асистента за това: ChatGPT-User, Claude-User, Perplexity-User.

Безплатното разширение Проверка на AI ботове за Chrome прави това с едно щракване. Отворете която и да е страница, щракнете върху иконата и то прочита robots.txt на сайта и показва за всеки от 16-те бота дали страницата е разрешена и кой ред решава това. Показва също предпочитанията в Content-Signal, дали сайтът има llms.txt и картите на сайта, посочени в robots.txt. Работи в браузъра ви, не изисква акаунт и чете само сайта, на който го използвате.

Без Chrome безплатната проверка на robots.txt на aiseewhy.com дава същия отговор за поставен URL адрес.

Как да проверя дали защитната стена ги пропуска?

robots.txt показва какво иска сайтът. За да видите какво реално получава ботът, заявете страницата два пъти – веднъж като браузър и веднъж с user agent на бота – и сравнете кода на състоянието и размера на отговора:

# As a browser
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
  -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
  https://example.com/page

# As OAI-SearchBot
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
  -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
  https://example.com/page

Ако браузърът получи 200, а ботът 403, 429 или 503 или много по-малка страница, защитната стена или защитата от ботове третира бота различно. Всеки външен тест има едно ограничение: идва от вашата мрежа, а не от мрежата на AI компанията. Защитна стена, която се доверява на ботовете по публикуваните им IP адреси, може да третира истинския бот различно, затова последната дума имат логовете на вашия сървър.

Пълната проверка на aiseewhy.com изтегля страницата като всичките 16 бота успоредно с истински браузър, назовава защитната стена или правилото, което блокира даден бот, и сравнява текста, който е получил всеки от тях.

Към какъв резултат да се стремите?

Зависи какво искате. Ако искате да бъдете цитирани в търсенето на ChatGPT, в Claude и в Perplexity, ботовете за търсене и потребителските ботове трябва да са разрешени в robots.txt и да получават истинската страница от сървъра. Ако не искате съдържанието ви да се използва за обучение, блокирайте само токените за обучение. Това са отделни решения: блокирането на GPTBot не блокира OAI-SearchBot, а блокирането на ClaudeBot не блокира Claude-SearchBot.

Много сайтове ги объркват. В нашия отчет от ноември 2026 г. за 1000-те най-популярни домейна 63% от сайтовете, които блокират бот за обучение, блокират и поне един AI бот за търсене или потребителски бот, с което държат страниците си извън тези AI отговори.

Безплатни инструменти

Следващи стъпки

Ботове в тази статия

Източници

Още статии

Публикувано