Четири од десет пословних сајтова одбија AI краулере
У нашим ревизијама 165 пословних сајтова у САД, УК и Француској, 38% је на серверу одбило најмање једног AI краулера, готово увек тренинг или scraper бота. Отприлике сваки десети сајт одбио је и AI претраживачког краулера као што су PerplexityBot или OAI-SearchBot, а то су краулери који могу довести до цитирања. Проверите свој сајт једним захтевом по краулеру.
Питате ChatGPT о сопственом производу, а он наводи конкурента, сајт са рецензијама и тему са форума. Понекад је то питање садржаја. Често је то заштитни зид који AI краулерима одговара одбијањем, а то нико у вашем тиму није видео јер сајт у прегледачу ради.
На овој страници
Шта смо тестирали?
Исту страницу тражимо више пута са исте адресе: једном као обичан прегледач, а затим по једном као 14 AI и претраживачких краулера, укључујући GPTBot, OAI-SearchBot и ChatGPT-User компаније OpenAI, ClaudeBot и Claude-SearchBot компаније Anthropic и PerplexityBot компаније Perplexity. Ако прегледач добије страницу, а краулер 401, 403, 406, 429, 451, 503 или изазовну страницу, сајт тог краулера одбија.
Узорак чини 218 пословних сајтова у САД, УК и Француској, прегледаних од 18. до 21. новембра 2026. Потпуни тест могли смо да спроведемо на 165. Осталих 53 одбило је чак и наш обичан захтев прегледача или није одговорило, па смо их изоставили уместо да погађамо.
Шта смо открили?
- 38% сајтова који су могли да се тестирају (63 од 165) одбило је најмање једног AI краулера.
- Сваки од тих сајтова одбио је најмање једног тренинг или scraper краулера.
Bytespiderје одбило 35% свих сајтова,ClaudeBot13%, аGPTBot11%. - 10% сајтова (16) одбило је и најмање једног AI претраживачког краулера, а 5% (8) одбило је краулера који отвара страницу уживо када особа пита асистента о њој.
- Претраживачки краулери који су највише значили били су
PerplexityBot(11 сајтова) иOAI-SearchBot(5 сајтова). - Cloudflare је стајао иза 32 од 66 сајтова који су одбили неког краулера кога смо тестирали. За још 30 нисмо могли да утврдимо који је заштитни зид одговорио.
Зашто се то дешава и када је то избор?
Велики део тога је вероватно намеран. Многи власници не желе да се њихов садржај користи за тренирање модела, а подешавања заштите од ботова која блокирају scrapere лако је укључити. То је легитиман избор.
Проблем је у томе што AI компаније користе одвојене краулере за тренирање и за претрагу. Блокирање краулера за тренирање не захтева блокирање претраживачког, а претраживачки је онај који може довести до цитирања ваше странице у одговору.
Да ли највећи сајтови стоје боље?
Не баш. У нашем robots.txt извештају о 1.000 најпопуларнијих домена, 29,9% сајтова са robots.txt блокира најмање једног AI краулера за тренирање, а 63,2% њих блокира и најмање једног AI претраживачког или кориснички покренутог краулера. Само 11,0% блокира тренирање, а дозвољава све AI претраживачке краулере, што је подешавање које је већина њих вероватно желела.
Како да за десет минута проверим свој сајт?
- Отворите
yoursite.com/robots.txt. За сваког AI краулера који вас занима погледајте да ли га нека група именује и шта група каже. Група која именује краулера у потпуности замењује општу групу*. - Тестирајте шта сервер ради, а не шта фајл каже. Затражите кључну страницу као прегледач и као краулер. 403, 429, страница са насловом
Just a moment...или одговор много мањи од одговора прегледача типичан је знак блокаде заштитног зида. - Питајте асистента. Уз укључену претрагу питајте ChatGPT или Perplexity питања која постављају ваши купци и погледајте које сајтове цитира. Ако је приступ у реду, а ви и даље недостајете, проблем је у садржају, а не у приступу.
Колико су ови бројеви поуздани?
Схватите их као образац, а не као попис. Узорак није случајан: то су компаније пронађене преко библиотека огласа, сајтова са огласима за посао и листинга на мапама. Тестирамо по user agent-у са једне адресе, док прави краулери долазе са адреса које њихови произвођачи објављују, па би неки заштитни зидови према правим поступили другачије. А блокада није увек грешка.
Следећи кораци
- robots.txt тестер и провера за AI краулере
- Погледајте пример потпуног извештаја
- Праћење AI краулера
- Планови и цене
Краулери у овом чланку
Честа питања
Који удео сајтова блокира AI краулере?
У нашој ревизији 165 пословних сајтова који су могли да се тестирају, 38% је на серверу одбило најмање једног AI краулера, углавном тренинг и scraper ботове. Око 10% је одбило и AI претраживачког краулера.
Да ли блокирање GPTBot-а држи мој сајт ван ChatGPT претраге?
Не. OpenAI наводи да је свако robots.txt подешавање за његове краулере независно: GPTBot се односи на тренирање, OAI-SearchBot на ChatGPT претрагу. Блокирање једног не блокира други.
Како сајт може да блокира краулера без robots.txt?
Правило заштитног зида, CDN-а или заштите од ботова може краулеру да одговори са 403, 429 или изазовном страницом. robots.txt то никада не показује, па се мора тестирати тражењем странице као краулер.
Да ли је одбијање краулера увек грешка?
Не. Многи власници желе да држе тренинг краулере и scrapere подаље. Грешка је случајно блокирање претраживачких краулера, јер су то они који могу цитирати вашу страницу.
Извори
- AISeeWhy: AI Crawler Access Report, 2026-11
- RFC 9309: Robots Exclusion Protocol
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers
- Cloudflare: Manage AI crawlers (AI Crawl Control)