Како да проверите да ли сајт блокира AI краулере

Налепите било коју адресу и погледајте да ли блокира GPTBot, ClaudeBot, PerplexityBot и остале AI краулере: у robots.txt-у, у заштитном зиду или на оба места.

Бесплатно · Без регистрације · Резултат за 30 секунди

Који краулери су блокирани

Краулери за обуку, претрагу и кориснике приказани су одвојено, јер блокирање GPTBot-а не блокира OAI-SearchBot, а блокирање ClaudeBot-а не блокира Claude-SearchBot.

Линија која одлучује

За сваки краулер robots.txt се чита по правилима RFC 9309: група која га именује или User-agent: * као резерва, и правило које побеђује.

Одбијања заштитног зида

Страница се тражи као 14 краулера и као обичан прегледач. Блокаде и странице са изазовом су означене, а заштитни зид који је одговорио је именован.

Исправка за сваки налаз

Уз сваки налаз стиже и измена коју треба направити. Бесплатна провера приказује ваш резултат и први налаз, а цео извештај кошта $29, једнократно.

Кратак одговор

Сајт може да блокира AI краулере на два места: у robots.txt, који моли краулере да се држе подаље, и на серверу или заштитном зиду, који их заиста одбија. У robots.txt потражите групу за токен сваког краулера, а ако је нема, групу User-agent: *. Затим преузмите страницу као краулер и упоредите је са оним што добија прегледач. Проширење за прегледач део са robots.txt обавља за 16 AI краулера једним кликом.

Проверите ручно у 3 корака

  1. Изаберите краулер

    Свака AI компанија користи засебне краулере. За обуку: GPTBot, ClaudeBot. За претрагу: OAI-SearchBot, Claude-SearchBot, PerplexityBot. На захтев корисника: ChatGPT-User, Claude-User, Perplexity-User.

  2. Прочитајте robots.txt за њега

    Отворите https://example.com/robots.txt и пронађите групу која именује краулер. Ако је нема, важи група User-agent: *; ако нема ни ње, све је дозвољено.

  3. Преузмите страницу као краулер

    Затражите страницу са user agent-ом краулера и упоредите статус и величину са оним што добија прегледач. 403, страница са изазовом или знатно мањи одговор 200 значи да га заштитни зид одбија.

Честа питања

Да ли је сајт без robots.txt отворен за AI краулере?

Јесте, што се тиче robots.txt. Одговор 404 за robots.txt значи да правила нема, па сваки краулер сме да преузме сваку страницу. Заштитни зид и даље може да блокира краулере.

Да ли проширење показује блокаде заштитног зида?

Не. Чита robots.txt из вашег прегледача, што показује шта сајт тражи од краулера. За блокаде заштитног зида и заштите од ботова потребан је захтев послат као краулер, а то ради пуна провера на aiseewhy.com.

Могу ли да проверим сајт који није мој?

Можете. robots.txt је јаван, а проширење чита само фајлове robots.txt и llms.txt које сајт објављује, исте фајлове које чита сваки краулер.

Прочитајте цео водич

Било да после неке измене проверавате свој сајт или гледате туђи пре него што се на њега ослоните, питање „да ли овај сајт блокира AI краулере?“ има прецизан одговор. Зависи од тога на који краулер мислите, јер AI компаније користе засебне краулере за обуку, за претрагу и за посете уживо, а сајт сваки од њих може да третира другачије. Овај водич показује три провере, од најбрже до најпотпуније.

Где сајт може да блокира AI краулере?

Постоје три слоја, а краулер мора да прође кроз сва три да би могао да користи страницу.

  • robots.txt: јавни фајл са правилима који краулери који се лепо понашају читају пре него што било шта преузму. То је молба, а не брава.
  • Сервер, CDN или заштитни зид: одлучује шта се заиста враћа. Правило заштите од ботова може краулеру да одговори са 403, 429 или страницом са изазовом чак и када га robots.txt дозвољава.
  • Сама страница: ако се главни текст појави тек када се изврши JavaScript, краулер који чита почетни HTML добија скоро празну страницу, иако га ништа није блокирало.

Већина брзих провера гледа само први слој. То је добар почетак, ако не заборавите остала два.

Како да прочитам robots.txt за један AI краулер?

Отворите https://example.com/robots.txt у прегледачу и пронађите групу која се примењује на краулер. Група почиње једним или више редова User-agent. Краулер користи групу која наводи његов токен, на пример GPTBot; велика и мала слова нису битна. Ако га ниједна група не наводи, користи групу User-agent: *. Ако нема ни једне ни друге, све је дозвољено.

Унутар групе побеђује правило са најдужом путањом која се поклапа, а када су Allow и Disallow једнако дугачки, побеђује Allow. Фајл испод зато блокира GPTBot на целом сајту, а све остале краулере пушта:

User-agent: GPTBot
Disallow: /

User-agent: *
Allow: /

Погледајте и како фајл одговара. Према RFC 9309, 404 значи да правила нема, па је све дозвољено. Грешка сервера (5xx) или изостанак одговора значи да краулер мора цео сајт да сматра забрањеним. Честа грешка је адреса robots.txt која враћа HTML страницу: краулери у њој не налазе важећа правила.

Како да проверим све AI краулере одједном?

Ручно читање фајла постаје споро чим вам је важно више од једног краулера. Свака AI компанија користи неколико краулера са различитим задацима:

  • Краулери за обуку прикупљају садржај за обуку модела: GPTBot, ClaudeBot, CCBot, Bytespider, meta-externalagent, као и токени Google-Extended и Applebot-Extended, који се појављују само у robots.txt.
  • Краулери за претрагу индексирају странице да би их AI одговори могли цитирати: OAI-SearchBot, Claude-SearchBot, PerplexityBot.
  • Кориснички краулери преузимају страницу када особа то затражи од асистента: ChatGPT-User, Claude-User, Perplexity-User.

Бесплатно проширење Провера AI краулера за Chrome то ради једним кликом. Отворите било коју страницу, кликните на иконицу и проширење ће прочитати robots.txt тог сајта и за сваки од 16 краулера показати да ли је страница дозвољена и који ред о томе одлучује. Показује и подешавања Content-Signal, да ли сајт има llms.txt и мапе сајта наведене у robots.txt. Ради у вашем прегледачу, не тражи налог и чита само сајт на коме га кликнете.

Без Chrome-а, исти одговор за налепљени URL даје бесплатна провера robots.txt на aiseewhy.com.

Како да проверим да ли их заштитни зид пропушта?

robots.txt показује шта сајт тражи. Да бисте видели шта краулер заиста добија, затражите страницу два пута, једном као прегледач и једном са user agent-ом краулера, па упоредите статусни код и величину одговора:

# As a browser
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
  -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
  https://example.com/page

# As OAI-SearchBot
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
  -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
  https://example.com/page

Ако прегледач добије 200, а краулер 403, 429 или 503, или знатно мању страницу, заштитни зид или заштита од ботова третира краулер другачије. Сваки спољни тест има једно ограничење: долази из ваше мреже, а не из мреже AI компаније. Заштитни зид који краулерима верује по њиховим објављеним IP адресама може прави краулер да третира другачије, па последњу реч имају логови вашег сервера.

Пуна провера на aiseewhy.com преузима страницу као свих 16 краулера поред правог прегледача, наводи заштитни зид или правило које блокира краулер и упоређује текст који је сваки од њих добио.

Ком резултату треба да тежите?

Зависи од тога шта желите. Ако желите да будете цитирани у ChatGPT претрази, у Claude-у и у Perplexity-ју, краулери за претрагу и кориснички краулери морају бити дозвољени у robots.txt и морају од сервера да добију праву страницу. Ако не желите да се ваш садржај користи за обуку, блокирајте само токене за обуку. То су засебне одлуке: блокирање GPTBot не блокира OAI-SearchBot, а блокирање ClaudeBot не блокира Claude-SearchBot.

Многи сајтови их мешају. У нашем извештају из новембра 2026. о 1000 најпопуларнијих домена, 63% сајтова који блокирају краулер за обуку блокира и бар један AI краулер за претрагу или кориснички краулер, чиме своје странице држе ван тих AI одговора.

Бесплатни алати

Следећи кораци

Краулери у овом чланку

Извори

Још чланака

Објављено