Четири од десет пословних сајтова одбија AI краулере

Објављено

Кратак одговор

У нашим ревизијама 165 пословних сајтова у САД, УК и Француској, 38% је на серверу одбило најмање једног AI краулера, готово увек тренинг или scraper бота. Отприлике сваки десети сајт одбио је и AI претраживачког краулера као што су PerplexityBot или OAI-SearchBot, а то су краулери који могу довести до цитирања. Проверите свој сајт једним захтевом по краулеру.

Питате ChatGPT о сопственом производу, а он наводи конкурента, сајт са рецензијама и тему са форума. Понекад је то питање садржаја. Често је то заштитни зид који AI краулерима одговара одбијањем, а то нико у вашем тиму није видео јер сајт у прегледачу ради.

На овој страници
  1. Шта смо тестирали?
  2. Шта смо открили?
  3. Зашто се то дешава и када је то избор?
  4. Да ли највећи сајтови стоје боље?
  5. Како да за десет минута проверим свој сајт?
  6. Колико су ови бројеви поуздани?

Шта смо тестирали?

Исту страницу тражимо више пута са исте адресе: једном као обичан прегледач, а затим по једном као 14 AI и претраживачких краулера, укључујући GPTBot, OAI-SearchBot и ChatGPT-User компаније OpenAI, ClaudeBot и Claude-SearchBot компаније Anthropic и PerplexityBot компаније Perplexity. Ако прегледач добије страницу, а краулер 401, 403, 406, 429, 451, 503 или изазовну страницу, сајт тог краулера одбија.

Узорак чини 218 пословних сајтова у САД, УК и Француској, прегледаних од 18. до 21. новембра 2026. Потпуни тест могли смо да спроведемо на 165. Осталих 53 одбило је чак и наш обичан захтев прегледача или није одговорило, па смо их изоставили уместо да погађамо.

Шта смо открили?

Зашто се то дешава и када је то избор?

Велики део тога је вероватно намеран. Многи власници не желе да се њихов садржај користи за тренирање модела, а подешавања заштите од ботова која блокирају scrapere лако је укључити. То је легитиман избор.

Проблем је у томе што AI компаније користе одвојене краулере за тренирање и за претрагу. Блокирање краулера за тренирање не захтева блокирање претраживачког, а претраживачки је онај који може довести до цитирања ваше странице у одговору.

Да ли највећи сајтови стоје боље?

Не баш. У нашем robots.txt извештају о 1.000 најпопуларнијих домена, 29,9% сајтова са robots.txt блокира најмање једног AI краулера за тренирање, а 63,2% њих блокира и најмање једног AI претраживачког или кориснички покренутог краулера. Само 11,0% блокира тренирање, а дозвољава све AI претраживачке краулере, што је подешавање које је већина њих вероватно желела.

Како да за десет минута проверим свој сајт?

  1. Отворите yoursite.com/robots.txt. За сваког AI краулера који вас занима погледајте да ли га нека група именује и шта група каже. Група која именује краулера у потпуности замењује општу групу *.
  2. Тестирајте шта сервер ради, а не шта фајл каже. Затражите кључну страницу као прегледач и као краулер. 403, 429, страница са насловом Just a moment... или одговор много мањи од одговора прегледача типичан је знак блокаде заштитног зида.
  3. Питајте асистента. Уз укључену претрагу питајте ChatGPT или Perplexity питања која постављају ваши купци и погледајте које сајтове цитира. Ако је приступ у реду, а ви и даље недостајете, проблем је у садржају, а не у приступу.

Колико су ови бројеви поуздани?

Схватите их као образац, а не као попис. Узорак није случајан: то су компаније пронађене преко библиотека огласа, сајтова са огласима за посао и листинга на мапама. Тестирамо по user agent-у са једне адресе, док прави краулери долазе са адреса које њихови произвођачи објављују, па би неки заштитни зидови према правим поступили другачије. А блокада није увек грешка.

Бесплатни алати

Следећи кораци

Краулери у овом чланку

Честа питања

Који удео сајтова блокира AI краулере?

У нашој ревизији 165 пословних сајтова који су могли да се тестирају, 38% је на серверу одбило најмање једног AI краулера, углавном тренинг и scraper ботове. Око 10% је одбило и AI претраживачког краулера.

Да ли блокирање GPTBot-а држи мој сајт ван ChatGPT претраге?

Не. OpenAI наводи да је свако robots.txt подешавање за његове краулере независно: GPTBot се односи на тренирање, OAI-SearchBot на ChatGPT претрагу. Блокирање једног не блокира други.

Како сајт може да блокира краулера без robots.txt?

Правило заштитног зида, CDN-а или заштите од ботова може краулеру да одговори са 403, 429 или изазовном страницом. robots.txt то никада не показује, па се мора тестирати тражењем странице као краулер.

Да ли је одбијање краулера увек грешка?

Не. Многи власници желе да држе тренинг краулере и scrapere подаље. Грешка је случајно блокирање претраживачких краулера, јер су то они који могу цитирати вашу страницу.

Извори

Још чланака