Како да проверите дали сајт ги блокира AI краулерите
Залепете која било адреса и видете дали блокира GPTBot, ClaudeBot, PerplexityBot и другите AI краулери: во robots.txt, во заштитниот ѕид или на двете места.
Бесплатно · Без регистрација · Резултат за 30 секунди
Кои краулери се блокирани
Краулерите за обука, за пребарување и за корисници се прикажани одделно, бидејќи блокирањето на GPTBot не го блокира OAI-SearchBot, а блокирањето на ClaudeBot не го блокира Claude-SearchBot.
Линијата што одлучува
За секој краулер, robots.txt се чита според правилата од RFC 9309: групата што го именува или User-agent: * како резервна, и правилото што победува.
Одбивања од заштитниот ѕид
Страницата се бара како 14 краулери и како обичен прелистувач. Блокирањата и страниците со предизвик се означуваат, а заштитниот ѕид што одговорил се именува.
Поправка за секој наод
Секој наод доаѓа со промената што треба да се направи. Бесплатната проверка ви го прикажува резултатот и првиот наод; целосниот извештај чини $29, еднократно.
Сајтот може да ги блокира AI краулерите на две места: во robots.txt, кој бара од краулерите да се држат настрана, и на серверот или заштитниот ѕид, кој навистина ги одбива. Во robots.txt побарајте ја групата за ознаката на секој краулер, а ако ја нема, групата User-agent: *. Потоа преземете ја страницата како краулерот и споредете ја со она што го добива прелистувачот. Додаток за прелистувач го прави делот со robots.txt за 16 AI краулери со еден клик.
Проверете рачно во 3 чекори
- Изберете краулер
Секоја AI компанија користи посебни краулери. За обука:
GPTBot,ClaudeBot. За пребарување:OAI-SearchBot,Claude-SearchBot,PerplexityBot. По барање на човек:ChatGPT-User,Claude-User,Perplexity-User. - Прочитајте го robots.txt за него
Отворете
https://example.com/robots.txtи најдете ја групата што го именува краулерот. Ако ниедна група не го именува, важи групатаUser-agent: *; ако нема ниту една, дозволено е сè. - Преземете ја страницата како краулерот
Побарајте ја страницата со user agent-от на краулерот и споредете ги статусот и големината со оние во прелистувачот. 403, страница со предизвик или многу помал 200 значи дека заштитниот ѕид го одбива.
Често поставувани прашања
Дали сајт без robots.txt е отворен за AI краулерите?
Да, што се однесува до robots.txt. Одговор 404 за robots.txt значи дека нема правила, па секој краулер смее да ја преземе секоја страница. Заштитниот ѕид сепак може да ги блокира краулерите.
Дали додатокот покажува блокирања од заштитниот ѕид?
Не. Го чита robots.txt од вашиот прелистувач, што покажува што бара сајтот од краулерите. За блокирањата од заштитниот ѕид и заштитата од ботови потребно е барање испратено како краулерот, а тоа го прави целосната проверка на aiseewhy.com.
Можам ли да проверам сајт што не е мој?
Да. robots.txt е јавен, а додатокот ги чита само датотеките robots.txt и llms.txt што сајтот ги објавува, истите датотеки што ги чита секој краулер.
Прочитајте го целиот водич
Без разлика дали го проверувате својот сајт по некоја промена или гледате туѓ сајт пред да се потпрете на него, прашањето „дали овој сајт ги блокира AI краулерите?“ има прецизен одговор. Тој зависи од тоа на кој краулер мислите, бидејќи AI компаниите користат посебни краулери за обука, за пребарување и за посети во живо, а сајтот може секој од нив да го третира различно. Овој водич покажува три проверки, од најбрзата до најцелосната.
Каде сајтот може да ги блокира AI краулерите?
Постојат три слоја, а краулерот мора да помине низ сите за да ја користи страницата.
- robots.txt: јавна датотека со правила што краулерите што се однесуваат добро ја читаат пред да преземат било што. Тоа е барање, а не брава.
- Серверот, CDN или заштитниот ѕид: тој одлучува што навистина се враќа. Правило за заштита од ботови може на краулерот да му одговори со 403, 429 или страница со предизвик дури и кога robots.txt го дозволува.
- Самата страница: ако главниот текст се појавува дури откако ќе се изврши JavaScript, краулерот што го чита почетниот HTML добива речиси празна страница, иако ништо не го блокирало.
Повеќето брзи проверки го гледаат само првиот слој. Тоа е добар почеток, ако не ги заборавите другите два.
Како да го прочитам robots.txt за еден AI краулер?
Отворете https://example.com/robots.txt во прелистувач и најдете ја групата што важи за краулерот. Групата почнува со еден или повеќе редови User-agent. Краулерот ја користи групата што ја именува неговата ознака, на пример GPTBot; големите и малите букви не се важни. Ако ниедна група не го именува, ја користи групата User-agent: *. Ако нема ниту едната ниту другата, сè е дозволено.
Во рамките на групата победува правилото со најдолгата патека што се совпаѓа, а кога Allow и Disallow се еднакво долги, победува Allow. Затоа датотеката подолу го блокира GPTBot на целиот сајт, а сите други краулери ги пушта:
User-agent: GPTBot
Disallow: /
User-agent: *
Allow: / Погледнете и како одговара датотеката. Според RFC 9309, 404 значи дека нема правила, па сè е дозволено. Грешка на серверот (5xx) или отсуство на одговор значи дека краулерот мора целиот сајт да го смета за забранет. Честа грешка е адреса на robots.txt што враќа HTML страница: краулерите во неа не наоѓаат важечки правила.
Како да ги проверам сите AI краулери одеднаш?
Рачното читање на датотеката станува бавно штом ви е важен повеќе од еден краулер. Секоја AI компанија користи неколку краулери со различни задачи:
- Краулерите за обука собираат содржина за обука на модели:
GPTBot,ClaudeBot,CCBot,Bytespider,meta-externalagent, како и ознакитеGoogle-ExtendedиApplebot-Extended, кои се појавуваат само во robots.txt. - Краулерите за пребарување индексираат страници за AI одговорите да можат да ги цитираат:
OAI-SearchBot,Claude-SearchBot,PerplexityBot. - Корисничките краулери преземаат страница кога човек тоа ќе го побара од асистентот:
ChatGPT-User,Claude-User,Perplexity-User.
Бесплатниот додаток Проверка на AI краулери за Chrome го прави ова со еден клик. Отворете која било страница, кликнете на иконата и додатокот ќе го прочита robots.txt на тој сајт и за секој од 16-те краулери ќе покаже дали страницата е дозволена и кој ред одлучува за тоа. Покажува и поставки на Content-Signal, дали сајтот има llms.txt и мапите на сајтот наведени во robots.txt. Работи во вашиот прелистувач, не бара сметка и го чита само сајтот на кој ќе го кликнете.
Без Chrome, бесплатната проверка на robots.txt на aiseewhy.com го дава истиот одговор за URL што ќе го залепите.
Како да проверам дали заштитниот ѕид ги пропушта?
robots.txt покажува што бара сајтот. За да видите што краулерот навистина добива, побарајте ја страницата двапати, еднаш како прелистувач и еднаш со user agent на краулерот, и споредете ги статусниот код и големината на одговорот:
# As a browser
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
-A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
https://example.com/page
# As OAI-SearchBot
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
-A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
https://example.com/page Ако прелистувачот добие 200, а краулерот 403, 429 или 503, или многу помала страница, заштитниот ѕид или заштитата од ботови го третира краулерот различно. Секој надворешен тест има едно ограничување: доаѓа од вашата мрежа, а не од мрежата на AI компанијата. Заштитен ѕид што им верува на краулерите според нивните објавени IP адреси може вистинскиот краулер да го третира различно, па последниот збор го имаат логовите на вашиот сервер.
Целосната проверка на aiseewhy.com ја презема страницата како сите 16 краулери покрај вистински прелистувач, го именува заштитниот ѕид или правилото што блокира краулер и го споредува текстот што го добил секој од нив.
Кон каков резултат треба да се стремите?
Зависи што сакате. Ако сакате да бидете цитирани во пребарувањето на ChatGPT, во Claude и во Perplexity, краулерите за пребарување и корисничките краулери мора да бидат дозволени во robots.txt и мора од серверот да ја добијат вистинската страница. Ако не сакате вашата содржина да се користи за обука, блокирајте ги само ознаките за обука. Тоа се посебни одлуки: блокирањето на GPTBot не го блокира OAI-SearchBot, а блокирањето на ClaudeBot не го блокира Claude-SearchBot.
Многу сајтови ги мешаат. Во нашиот извештај од ноември 2026 за 1.000 најпопуларни домени, 63% од сајтовите што блокираат краулер за обука блокираат и барем еден AI краулер за пребарување или кориснички краулер, со што своите страници ги држат надвор од тие AI одговори.
Следни чекори
- Тестер и проверка на robots.txt за AI краулери
- Проверка и валидатор за llms.txt
- Погледнете пример за целосен извештај
- Следење на AI краулери
- Планови и цени
Краулери во оваа статија
Извори
- RFC 9309: Robots Exclusion Protocol
- OpenAI: Преглед на краулерите на OpenAI
- Anthropic: Дали Anthropic обиколува податоци од интернетот и како сопствениците на сајтови можат да го блокираат краулерот?
- Perplexity: краулери на Perplexity
- Google: Вообичаени краулери, вклучително Google-Extended
- AISeeWhy: Извештај за пристапот на AI краулерите, 2026-11