Perskaitėme 10 000 populiariausių svetainių robots.txt. Štai ką jos daro su DI robotais

Paskelbta

Trumpas atsakymas

Iš 6 192 Tranco 10 000 geriausių sąrašo domenų, kurie pateikia robots.txt, 23,2 % blokuoja bent vieną DI mokymo robotą, o 12,3 % – bent vieną DI paieškos ar naudotojo robotą. 51,6 % svetainių, blokuojančių mokymą, blokuoja ir DI paiešką. Tik 11,2 % atsisako mokymo, bet leidžia visus DI paieškos robotus.

Lapkritį perskaitėme 1 000 populiariausių domenų robots.txt. Šįkart perskaitėme 10 000, taikydami tą patį metodą, ir papildomai patikrinome, kaip vaizdas keičiasi mažesnėms svetainėms. Pagrindinė išvada išlieka: mokymo ir paieškos blokavimas laikomi vienu sprendimu, nors tai du skirtingi sprendimai.

Šiame puslapyje
  1. Kaip matavome?
  2. Ką radome?
  3. Kuriuos robotus blokuoja dažniausiai?
  4. Ar didesnės svetainės blokuoja daugiau?
  5. Ar kas nors pasikeitė nuo lapkričio 12 d. ataskaitos?
  6. Ką tai reiškia jūsų robots.txt?
  7. Kiek šie skaičiai patikimi?

Kaip matavome?

Paėmėme 10 000 geriausių Tranco sąrašo domenų (sąrašo ID JZWZY) ir 2026 m. lapkričio 21 d. vieną kartą nuskaitėme kiekvieno domeno pagrindinį puslapį, robots.txt ir llms.txt, naudodami savo AISeeWhy naudotojo agentą. Kiekvieno robots.txt taisykles vertinome pagal RFC 9309 pagrindiniam puslapiui (/) ir 16 DI bei paieškos robotų.

6 192 iš 10 000 domenų pateikė robots.txt (sėkmingas atsakymas, kuris nėra HTML puslapis). 1 121 atsakė 4xx kodu, o tai reiškia, kad taisyklių nėra ir leidžiami visi robotai, o 2 687 failo nepateikė (nėra HTTPS svetainės, įvyko klaidų, baigėsi laukimo laikas arba vietoj failo pateiktas HTML puslapis). Visi toliau nurodyti procentai skaičiuojami nuo 6 192. Sąraše yra CDN ir API, kurie svetainės nepateikia.

Ką radome?

Kuriuos robotus blokuoja dažniausiai?

Dalis iš 6 192 domenų, kurių robots.txt draudžia robotui pagrindinį puslapį:

Ar didesnės svetainės blokuoja daugiau?

Taip, be to, jos dažniau painioja mokymą su paieška. Sąrašą suskirstėme pagal vietą reitinge:

Selektyvus kelias retas bet kokio dydžio svetainėms: 10,5 %, 10,4 % ir 11,5 % domenų trijose grupėse.

Ar kas nors pasikeitė nuo lapkričio 12 d. ataskaitos?

Pirmuosius 1 000 domenų patikrinome iš naujo, naudodami tą patį sąrašą. Rezultatas stabilus maždaug vieno procentinio punkto tikslumu: 28,6 % blokuoja mokymą (lapkričio 12 d. buvo 29,9 %), 18,6 % blokuoja DI paiešką (19,5 %), o 63,1 % mokymą blokuojančių blokuoja ir DI paiešką (63,2 %). Vardikliai šiek tiek skiriasi (dabar 560 domenų su robots.txt, tada 518), nes šįkart prieš nuskaitydami failą sekame domeno nukreipimą į pagrindinį serverį.

Ką tai reiškia jūsų robots.txt?

Dauguma DI bendrovių aprašo atskirus mokymo ir paieškos robotus ir teigia, kad jų nustatymai nepriklausomi. GPTBot uždraudimas nepaliečia OAI-SearchBot, o ClaudeBot uždraudimas nepaliečia Claude-SearchBot. Jei norite atsisakyti mokymo, bet vis tiek būti cituojami, blokuokite mokymo žymas, leiskite paieškos ir naudotojo žymas ir pakartokite visus privačius kelius kiekvienoje grupėje, nes įvardyta grupė nepaveldi taisyklių iš *.

Kiek šie skaičiai patikimi?

Tai pagrindinio puslapio robots.txt taisyklės, kurias vienas analizatorius perskaitė vieną dieną. Jos nematuoja ugniasienės blokavimo, kuris gali atmesti robotą, nors robots.txt jį leidžia. Jos nepasako, ko norėjo kiekviena svetainė, o Tranco sąraše yra domenų, kurie nepateikia svetainės. Taisyklė, blokuojanti paieškos robotą, nėra klaidos įrodymas, tik pasirinkimas, kuris dažnai daromas nežinant skirtumo. Skaičius galite cituoti, pateikdami nuorodą į šį puslapį.

Nemokami įrankiai

Kiti žingsniai

Šiame straipsnyje minimi robotai

Dažniausiai užduodami klausimai

Kiek populiarių svetainių blokuoja DI robotus?

Iš 6 192 Tranco 10 000 geriausių sąrašo domenų, kurie pateikia robots.txt, 23,2 % blokuoja bent vieną DI mokymo robotą, o 12,3 % – bent vieną DI paieškos ar naudotojo robotą.

Ar svetainės, blokuojančios DI mokymą, blokuoja ir DI paiešką?

Dažnai. 51,6 % svetainių, blokuojančių mokymo robotą, blokuoja ir bent vieną DI paieškos ar naudotojo robotą, nors tiekėjai juos aprašo kaip atskirus robotus su nepriklausomais nustatymais.

Kuris DI robotas blokuojamas dažniausiai?

Tarp mokymo robotų tai Bytespider (18,7 %) ir CCBot (18,5 %), po jų GPTBot (17,4 %). Tarp DI paieškos robotų dažniausiai blokuojamas PerplexityBot, 10,4 % domenų.

Kodėl skaičiai skiriasi nuo jūsų 1 000 svetainių ataskaitos?

Pirmieji 1 000 domenų duoda beveik tuos pačius procentus (28,6 % ir 18,6 %, o ne 29,9 % ir 19,5 %). 10 000 svetainių rodikliai mažesni, nes mažesnės svetainės blokuoja rečiau.

Šaltiniai

Daugiau straipsnių