Четири од десет деловни сајтови ги одбиваат AI-роботите

Објавено

Краток одговор

Во нашите ревизии на 165 деловни сајтови во САД, Велика Британија и Франција, 38% одбија барем еден AI-робот на ниво на серверот, речиси секогаш робот за обука или за прибирање податоци. Околу еден од десет сајтови одби и AI-робот за пребарување како PerplexityBot или OAI-SearchBot, роботите што можат да доведат до цитат. Проверете го вашиот со по едно барање за секој робот.

Го прашувате ChatGPT за вашиот производ, а тој именува конкурент, сајт со рецензии и тема од форум. Понекогаш тоа е прашање на содржина. Често заштитен ѕид им одговара на AI-роботите со не, што никој во вашиот тим никогаш не го видел бидејќи сајтот работи во прелистувач.

На оваа страница
  1. Што тестиравме?
  2. Што најдовме?
  3. Зошто се случува и кога е избор?
  4. Дали најголемите сајтови стојат подобро?
  5. Како да го проверам мојот сајт за десет минути?
  6. Колку се сигурни овие бројки?

Што тестиравме?

Ја бараме страницата повеќепати од иста адреса: еднаш како обичен прелистувач, а потоа по еднаш како 14 AI-роботи и роботи на пребарувачи, меѓу кои GPTBot, OAI-SearchBot и ChatGPT-User од OpenAI, ClaudeBot и Claude-SearchBot од Anthropic и PerplexityBot од Perplexity. Ако прелистувачот ја добие страницата, а роботот добие 401, 403, 406, 429, 451, 503 или страница со предизвик, сајтот го одбива тој робот.

Примерокот е 218 деловни сајтови во САД, Велика Британија и Франција, ревидирани од 18 до 21 ноември 2026. Целосниот тест можевме да го извршиме на 165. Останатите 53 одбија дури и обично барање од прелистувач или не одговорија, па ги изоставивме наместо да погодуваме.

Што најдовме?

Зошто се случува и кога е избор?

Голем дел од ова веројатно е намерно. Многу сопственици не сакаат нивната содржина да се користи за обука на модели, а поставките за заштита од ботови што ги блокираат скраперите лесно се вклучуваат. Тоа е разумен избор.

Проблемот е што AI-компаниите имаат одделни роботи за обука и за пребарување. За да го блокирате роботот за обука, не мора да го блокирате и оној за пребарување, а токму роботот за пребарување може да доведе до цитирање на вашата страница во одговор.

Дали најголемите сајтови стојат подобро?

Не баш. Во нашиот извештај за robots.txt на 1.000-те најпопуларни домени, 29,9% од сајтовите со robots.txt блокираат барем еден AI-робот за обука, а 63,2% од нив блокираат и барем еден AI-робот за пребарување или за корисник. Само 11,0% блокираат обука, а дозволуваат секој AI-робот за пребарување, што е поставеноста што повеќето од нив веројатно ја сакале.

Како да го проверам мојот сајт за десет минути?

  1. Отворете yoursite.com/robots.txt. За секој AI-робот до кој ви е грижа, видете дали група го именува и што вели групата. Група што именува робот целосно ја заменува општата група *.
  2. Тестирајте што прави серверот, а не што пишува во датотеката. Побарајте ја вашата клучна страница како прелистувач и како роботот. 403, 429, страница со наслов Just a moment... или одговор многу помал од оној за прелистувачот е потпис на блок од заштитен ѕид.
  3. Прашајте го асистентот. Со вклучено пребарување, поставете им на ChatGPT или Perplexity прашања што ги поставуваат вашите купувачи и видете кои сајтови ги цитира. Ако пристапот е во ред, а сепак ве нема, проблемот е во содржината, а не во пристапот.

Колку се сигурни овие бројки?

Сфатете ги како образец, а не како попис. Примерокот не е случаен: тоа се компании пронајдени преку библиотеки на реклами, огласници за работа и листинзи на карти. Тестираме по кориснички агент од една адреса, додека вистинските роботи доаѓаат од адресите што ги објавуваат нивните производители, па некои заштитни ѕидови би ги третирале вистинските поинаку. А блокот не е секогаш грешка.

Бесплатни алатки

Следни чекори

Краулери во оваа статија

Често поставувани прашања

Колкав дел од сајтовите ги блокираат AI-роботите?

Во нашата ревизија на 165 деловни сајтови што можеа да се тестираат, 38% одбија барем еден AI-робот на ниво на серверот, најчесто роботи за обука и скрапери. Околу 10% одбија и AI-робот за пребарување.

Дали блокирањето на GPTBot го држи мојот сајт надвор од пребарувањето на ChatGPT?

Не. OpenAI вели дека секоја поставка во robots.txt за неговите роботи е независна: GPTBot се однесува на обука, а OAI-SearchBot на пребарувањето на ChatGPT. Блокирањето на едниот не го блокира другиот.

Како сајт може да блокира робот без robots.txt?

Заштитен ѕид, CDN или правило за заштита од ботови може да му одговори на роботот со 403, 429 или страница со предизвик. robots.txt тоа никогаш не го покажува, па мора да се тестира со барање на страницата како робот.

Дали одбивањето робот е секогаш грешка?

Не. Многу сопственици сакаат да ги држат роботите за обука и скраперите надвор. Грешката е случајно да се блокираат роботите за пребарување, бидејќи токму тие можат да ја цитираат вашата страница.

Извори

Уште статии