Прочитали смо robots.txt 10.000 најпопуларнијих сајтова. Ево шта раде са AI краулерима
Од 6.192 домена из Tranco топ 10.000 који служе robots.txt, 23,2% блокира најмање једног AI краулера за тренирање, а 12,3% најмање једног AI претраживачког или кориснички покренутог краулера. 51,6% сајтова који блокирају тренирање блокира и AI претрагу. Само 11,2% одбија тренирање, а дозвољава све AI претраживачке краулере.
У новембру смо прочитали robots.txt 1.000 најпопуларнијих домена. Овог пута читамо 10.000, истом методом, и додајемо проверу како се слика мења како су сајтови мањи. Главни закључак важи: блокирање тренирања и блокирање претраге третирају се као једна одлука, иако су две.
На овој страници
Како смо мерили?
Узели смо топ 10.000 домена са Tranco листе (ID листе JZWZY) и 21. новембра 2026. по једном преузели почетну страницу, robots.txt и llms.txt сваког домена, као AISeeWhy-јев сопствени user agent. Сваки robots.txt оценили смо по RFC 9309 за почетну страницу (/) и за 16 AI и претраживачких краулера.
6.192 од 10.000 домена служило је robots.txt (успешан одговор који није HTML страница). 1.121 је одговорило са 4xx, што значи без правила и сви краулери дозвољени, а 2.687 га није служило (нема HTTPS сајта, грешке, истек времена или HTML страница уместо њега). Сви проценти испод односе се на тих 6.192. Листа укључује CDN-ове и API-је који не служе ниједан сајт.
Шта смо открили?
- 23,2% (1.437 домена) блокира најмање једног AI краулера за тренирање.
- 12,3% (762) блокира најмање једног AI претраживачког или кориснички покренутог краулера, па њихове странице не би требало да користе нити цитирају одговори који се на њега ослањају.
- 51,6% домена који блокирају краулера за тренирање (742 од 1.437) блокира и најмање једног AI претраживачког или кориснички покренутог краулера.
- Само 11,2% (695) бира селективан пут: блокира краулере за тренирање, а дозвољава све AI претраживачке и кориснички покренуте краулере.
- 6,5% (401) своје AI жеље наводи помоћу
Content-Signal. - 12,4% свих 10.000 домена (1.240) објављује
llms.txt. - Поређења ради, 2,0% (124) блокира
Googlebotна почетној страници.
Који се краулери најчешће блокирају?
Удео од 6.192 домена чији robots.txt забрањује почетну страницу за краулера:
Bytespider18,7%,CCBot18,5%,GPTBot17,4%,ClaudeBot16,5%.Meta-ExternalAgent15,5%,Google-Extended14,9%,Applebot-Extended14,6%.PerplexityBot10,4% је AI претраживачки краулер који се најчешће блокира, испредOAI-SearchBot7,0% иClaude-SearchBot7,0%.- Краулери који отварају страницу када особа пита:
ChatGPT-User8,9%,Perplexity-User7,7%,Claude-User7,4%.
Да ли већи сајтови блокирају више?
Да, и чешће мешају тренирање и претрагу. Поделили смо листу по рангу:
- Рангови од 1 до 1.000 (560 домена са robots.txt): 28,6% блокира тренирање, 18,6% блокира AI претрагу, а 63,1% оних који блокирају тренирање блокира и AI претрагу.
- Рангови од 1.001 до 3.000 (1.256 домена): 23,5%, 13,5% и 55,6%.
- Рангови од 3.001 до 10.000 (4.376 домена): 22,4%, 11,2% и 48,6%.
Селективан пут је редак при свакој величини: 10,5%, 10,4% и 11,5% домена у те три групе.
Да ли се нешто променило од нашег извештаја од 12. новембра?
Поново смо обрадили првих 1.000 домена са истом листом. Резултат је стабилан у оквиру отприлике једног поена: 28,6% блокира тренирање (29,9% 12. новембра), 18,6% блокира AI претрагу (19,5%), а 63,1% оних који блокирају тренирање блокира и AI претрагу (63,2%). Имениоци се мало разликују (сада 560 домена са robots.txt, тада 518) јер овај пролаз прати преусмеравање домена до његовог главног хоста пре преузимања.
Шта то значи за ваш robots.txt?
Већина AI компанија документује одвојене краулере за тренирање и за претрагу и каже да су подешавања независна. Забрана за GPTBot не дира OAI-SearchBot, а забрана за ClaudeBot не дира Claude-SearchBot. Ако желите да одбијете тренирање, а ипак будете цитирани, блокирајте ознаке за тренирање, а дозволите ознаке за претрагу и кориснички покренуте, и поновите све приватне путање у свакој групи, јер именована група не наслеђује од *.
Колико су ови бројеви поуздани?
То су robots.txt правила за почетну страницу, које је један парсер прочитао једног дана. Не мере блокаде заштитног зида, које могу одбити краулера кога robots.txt дозвољава. Не могу да кажу шта је сваки сајт намеравао, а Tranco листа укључује домене који не служе ниједан сајт. Правило које блокира претраживачког краулера није доказ грешке, већ избора који се често прави без познавања разлике. Бројке можете цитирати уз везу на ову страницу.
Следећи кораци
- robots.txt тестер и провера за AI краулере
- Провера и валидатор llms.txt
- Погледајте пример потпуног извештаја
- Праћење AI краулера
- Планови и цене
Краулери у овом чланку
Честа питања
Који удео популарних сајтова блокира AI краулере?
Међу 6.192 домена из Tranco топ 10.000 који служе robots.txt, 23,2% блокира најмање једног AI краулера за тренирање, а 12,3% најмање једног AI претраживачког или кориснички покренутог краулера.
Да ли сајтови који блокирају AI тренирање блокирају и AI претрагу?
Често. 51,6% сајтова који блокирају краулера за тренирање блокира и најмање једног AI претраживачког или кориснички покренутог краулера, иако их произвођачи документују као одвојене краулере са независним подешавањима.
Који се AI краулер најчешће блокира?
Међу краулерима за тренирање то су Bytespider (18,7%) и CCBot (18,5%), затим GPTBot (17,4%). Међу AI претраживачким краулерима најчешће се блокира PerplexityBot, на 10,4% домена.
Зашто се бројке разликују од вашег извештаја о 1.000 сајтова?
Првих 1.000 домена даје готово исте проценте (28,6% и 18,6% наспрам 29,9% и 19,5%). Бројке за 10.000 сајтова су ниже јер мањи сајтови блокирају мање.
Извори
- AISeeWhy: AI Crawler Access Report, 2026-11
- Tranco: a research-oriented top sites ranking
- RFC 9309: Robots Exclusion Protocol
- OpenAI: Overview of OpenAI crawlers
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Perplexity: Perplexity crawlers