Го прочитавме robots.txt на 10.000-те најпопуларни сајтови. Ова прават за AI-роботите

Објавено

Краток одговор

Од 6.192-те домени во првите 10.000 на Tranco што служат robots.txt, 23,2% блокираат барем еден AI-робот за обука, а 12,3% блокираат барем еден AI-робот за пребарување или за корисник. 51,6% од сајтовите што блокираат обука блокираат и AI-пребарување. Само 11,2% ја одбиваат обуката, а дозволуваат секој AI-робот за пребарување.

Во ноември го прочитавме robots.txt на 1.000-те најпопуларни домени. Овојпат прочитавме 10.000, со ист метод, и додадовме проверка како се менува сликата кај помалите сајтови. Главниот заклучок важи: блокирањето на обуката и блокирањето на пребарувањето се третираат како една одлука, иако се две.

На оваа страница
  1. Како го измеривме?
  2. Што најдовме?
  3. Кои роботи најчесто се блокираат?
  4. Дали поголемите сајтови блокираат повеќе?
  5. Дали нешто се променило од нашиот извештај од 12 ноември?
  6. Што значи ова за вашиот robots.txt?
  7. Колку се сигурни овие бројки?

Како го измеривме?

Ги зедовме првите 10.000 домени од листата Tranco (ID на листата JZWZY) и ги преземавме почетната страница, robots.txt и llms.txt на секој домен по еднаш на 21 ноември 2026, како сопствениот кориснички агент на AISeeWhy. Секој robots.txt го проценувавме според RFC 9309 за почетната страница (/) и за 16 AI-роботи и роботи на пребарувачи.

6.192 од 10.000-те домени служеа robots.txt (успешен одговор што не е HTML-страница). 1.121 одговорија со 4xx, што значи нема правила и секој робот е дозволен, а 2.687 не служеа ниту еден (нема HTTPS-сајт, грешки, истекнато време или HTML-страница наместо датотека). Секој процент подолу е од 6.192. Листата вклучува CDN-ови и API-ја што не служат веб-сајт.

Што најдовме?

Кои роботи најчесто се блокираат?

Удел од 6.192-те домени чиј robots.txt му ја забранува почетната страница на роботот:

Дали поголемите сајтови блокираат повеќе?

Да, и почесто ги мешаат обуката и пребарувањето. Ја поделивме листата по ранг:

Селективниот пат е редок при секоја големина: 10,5%, 10,4% и 11,5% од домените во трите групи.

Дали нешто се променило од нашиот извештај од 12 ноември?

Ги повторивме првите 1.000 домени со истата листа. Резултатот е стабилен во рамки од околу еден поен: 28,6% блокираат обука (29,9% на 12 ноември), 18,6% блокираат AI-пребарување (19,5%), а 63,1% од блокерите на обука блокираат и AI-пребарување (63,2%). Именителите малку се разликуваат (сега 560 домени со robots.txt, тогаш 518) бидејќи овој пробег го следи пренасочувањето на доменот до неговиот главен хост пред преземањето.

Што значи ова за вашиот robots.txt?

Повеќето AI-компании документираат одделни роботи за обука и за пребарување и велат дека поставките се независни. Забраната на GPTBot не го допира OAI-SearchBot, а забраната на ClaudeBot не го допира Claude-SearchBot. Ако сакате да ја одбиете обуката, а сепак да бидете цитирани, блокирајте ги токените за обука и дозволете ги токените за пребарување и за корисник, и повторете ги сите приватни патеки во секоја група, бидејќи именувана група не наследува од *.

Колку се сигурни овие бројки?

Тоа се правила од robots.txt за почетната страница, прочитани со еден парсер во еден ден. Не ги мерат блоковите од заштитен ѕид, кои можат да одбијат робот што robots.txt го дозволува. Не можат да кажат што имал намера секој сајт, а листата Tranco вклучува домени што не служат веб-сајт. Правило што блокира робот за пребарување не е доказ за грешка, туку за избор што често се прави без да се знае разликата. Смеете да ги цитирате бројките со врска до оваа страница.

Бесплатни алатки

Следни чекори

Краулери во оваа статија

Често поставувани прашања

Колкав дел од популарните сајтови ги блокираат AI-роботите?

Меѓу 6.192-те домени од првите 10.000 на Tranco што служат robots.txt, 23,2% блокираат барем еден AI-робот за обука, а 12,3% блокираат барем еден AI-робот за пребарување или за корисник.

Дали сајтовите што ја блокираат AI-обуката блокираат и AI-пребарување?

Често. 51,6% од сајтовите што блокираат робот за обука блокираат и барем еден AI-робот за пребарување или за корисник, иако производителите ги документираат како одделни роботи со независни поставки.

Кој AI-робот најчесто се блокира?

Меѓу роботите за обука тоа се Bytespider (18,7%) и CCBot (18,5%), а потоа GPTBot (17,4%). Меѓу AI-роботите за пребарување најчесто се блокира PerplexityBot, на 10,4% од домените.

Зошто бројките се разликуваат од вашиот извештај за 1.000 сајтови?

Првите 1.000 домени даваат речиси исти проценти (28,6% и 18,6% наспроти 29,9% и 19,5%). Бројките за 10.000 сајтови се пониски бидејќи помалите сајтови блокираат помалку.

Извори

Уште статии