Прочитали смо robots.txt 10.000 најпопуларнијих сајтова. Ево шта раде са AI краулерима

Објављено

Кратак одговор

Од 6.192 домена из Tranco топ 10.000 који служе robots.txt, 23,2% блокира најмање једног AI краулера за тренирање, а 12,3% најмање једног AI претраживачког или кориснички покренутог краулера. 51,6% сајтова који блокирају тренирање блокира и AI претрагу. Само 11,2% одбија тренирање, а дозвољава све AI претраживачке краулере.

У новембру смо прочитали robots.txt 1.000 најпопуларнијих домена. Овог пута читамо 10.000, истом методом, и додајемо проверу како се слика мења како су сајтови мањи. Главни закључак важи: блокирање тренирања и блокирање претраге третирају се као једна одлука, иако су две.

На овој страници
  1. Како смо мерили?
  2. Шта смо открили?
  3. Који се краулери најчешће блокирају?
  4. Да ли већи сајтови блокирају више?
  5. Да ли се нешто променило од нашег извештаја од 12. новембра?
  6. Шта то значи за ваш robots.txt?
  7. Колико су ови бројеви поуздани?

Како смо мерили?

Узели смо топ 10.000 домена са Tranco листе (ID листе JZWZY) и 21. новембра 2026. по једном преузели почетну страницу, robots.txt и llms.txt сваког домена, као AISeeWhy-јев сопствени user agent. Сваки robots.txt оценили смо по RFC 9309 за почетну страницу (/) и за 16 AI и претраживачких краулера.

6.192 од 10.000 домена служило је robots.txt (успешан одговор који није HTML страница). 1.121 је одговорило са 4xx, што значи без правила и сви краулери дозвољени, а 2.687 га није служило (нема HTTPS сајта, грешке, истек времена или HTML страница уместо њега). Сви проценти испод односе се на тих 6.192. Листа укључује CDN-ове и API-је који не служе ниједан сајт.

Шта смо открили?

Који се краулери најчешће блокирају?

Удео од 6.192 домена чији robots.txt забрањује почетну страницу за краулера:

Да ли већи сајтови блокирају више?

Да, и чешће мешају тренирање и претрагу. Поделили смо листу по рангу:

Селективан пут је редак при свакој величини: 10,5%, 10,4% и 11,5% домена у те три групе.

Да ли се нешто променило од нашег извештаја од 12. новембра?

Поново смо обрадили првих 1.000 домена са истом листом. Резултат је стабилан у оквиру отприлике једног поена: 28,6% блокира тренирање (29,9% 12. новембра), 18,6% блокира AI претрагу (19,5%), а 63,1% оних који блокирају тренирање блокира и AI претрагу (63,2%). Имениоци се мало разликују (сада 560 домена са robots.txt, тада 518) јер овај пролаз прати преусмеравање домена до његовог главног хоста пре преузимања.

Шта то значи за ваш robots.txt?

Већина AI компанија документује одвојене краулере за тренирање и за претрагу и каже да су подешавања независна. Забрана за GPTBot не дира OAI-SearchBot, а забрана за ClaudeBot не дира Claude-SearchBot. Ако желите да одбијете тренирање, а ипак будете цитирани, блокирајте ознаке за тренирање, а дозволите ознаке за претрагу и кориснички покренуте, и поновите све приватне путање у свакој групи, јер именована група не наслеђује од *.

Колико су ови бројеви поуздани?

То су robots.txt правила за почетну страницу, које је један парсер прочитао једног дана. Не мере блокаде заштитног зида, које могу одбити краулера кога robots.txt дозвољава. Не могу да кажу шта је сваки сајт намеравао, а Tranco листа укључује домене који не служе ниједан сајт. Правило које блокира претраживачког краулера није доказ грешке, већ избора који се често прави без познавања разлике. Бројке можете цитирати уз везу на ову страницу.

Бесплатни алати

Следећи кораци

Краулери у овом чланку

Честа питања

Који удео популарних сајтова блокира AI краулере?

Међу 6.192 домена из Tranco топ 10.000 који служе robots.txt, 23,2% блокира најмање једног AI краулера за тренирање, а 12,3% најмање једног AI претраживачког или кориснички покренутог краулера.

Да ли сајтови који блокирају AI тренирање блокирају и AI претрагу?

Често. 51,6% сајтова који блокирају краулера за тренирање блокира и најмање једног AI претраживачког или кориснички покренутог краулера, иако их произвођачи документују као одвојене краулере са независним подешавањима.

Који се AI краулер најчешће блокира?

Међу краулерима за тренирање то су Bytespider (18,7%) и CCBot (18,5%), затим GPTBot (17,4%). Међу AI претраживачким краулерима најчешће се блокира PerplexityBot, на 10,4% домена.

Зашто се бројке разликују од вашег извештаја о 1.000 сајтова?

Првих 1.000 домена даје готово исте проценте (28,6% и 18,6% наспрам 29,9% и 19,5%). Бројке за 10.000 сајтова су ниже јер мањи сајтови блокирају мање.

Извори

Још чланака