Perskaitėme 10 000 populiariausių svetainių robots.txt. Štai ką jos daro su DI robotais
Iš 6 192 Tranco 10 000 geriausių sąrašo domenų, kurie pateikia robots.txt, 23,2 % blokuoja bent vieną DI mokymo robotą, o 12,3 % – bent vieną DI paieškos ar naudotojo robotą. 51,6 % svetainių, blokuojančių mokymą, blokuoja ir DI paiešką. Tik 11,2 % atsisako mokymo, bet leidžia visus DI paieškos robotus.
Lapkritį perskaitėme 1 000 populiariausių domenų robots.txt. Šįkart perskaitėme 10 000, taikydami tą patį metodą, ir papildomai patikrinome, kaip vaizdas keičiasi mažesnėms svetainėms. Pagrindinė išvada išlieka: mokymo ir paieškos blokavimas laikomi vienu sprendimu, nors tai du skirtingi sprendimai.
Šiame puslapyje
Kaip matavome?
Paėmėme 10 000 geriausių Tranco sąrašo domenų (sąrašo ID JZWZY) ir 2026 m. lapkričio 21 d. vieną kartą nuskaitėme kiekvieno domeno pagrindinį puslapį, robots.txt ir llms.txt, naudodami savo AISeeWhy naudotojo agentą. Kiekvieno robots.txt taisykles vertinome pagal RFC 9309 pagrindiniam puslapiui (/) ir 16 DI bei paieškos robotų.
6 192 iš 10 000 domenų pateikė robots.txt (sėkmingas atsakymas, kuris nėra HTML puslapis). 1 121 atsakė 4xx kodu, o tai reiškia, kad taisyklių nėra ir leidžiami visi robotai, o 2 687 failo nepateikė (nėra HTTPS svetainės, įvyko klaidų, baigėsi laukimo laikas arba vietoj failo pateiktas HTML puslapis). Visi toliau nurodyti procentai skaičiuojami nuo 6 192. Sąraše yra CDN ir API, kurie svetainės nepateikia.
Ką radome?
- 23,2 % (1 437 domenai) blokuoja bent vieną DI mokymo robotą.
- 12,3 % (762) blokuoja bent vieną DI paieškos ar naudotojo robotą, vadinasi, jų puslapių neturėtų naudoti ar cituoti atsakymai, kurie remiasi tuo robotu.
- 51,6 % domenų, blokuojančių mokymo robotą (742 iš 1 437), blokuoja ir bent vieną DI paieškos ar naudotojo robotą.
- Tik 11,2 % (695) renkasi selektyvų kelią: blokuoja mokymo robotus ir leidžia visus DI paieškos bei naudotojo robotus.
- 6,5 % (401) savo DI nuostatas nurodo per
Content-Signal. - 12,4 % visų 10 000 domenų (1 240) skelbia
llms.txt. - Palyginimui: 2,0 % (124) pagrindiniame puslapyje blokuoja
Googlebot.
Kuriuos robotus blokuoja dažniausiai?
Dalis iš 6 192 domenų, kurių robots.txt draudžia robotui pagrindinį puslapį:
Bytespider18,7 %,CCBot18,5 %,GPTBot17,4 %,ClaudeBot16,5 %.Meta-ExternalAgent15,5 %,Google-Extended14,9 %,Applebot-Extended14,6 %.PerplexityBot10,4 % yra dažniausiai blokuojamas DI paieškos robotas, o paskui einaOAI-SearchBot7,0 % irClaude-SearchBot7,0 %.- Robotai, kurie atidaro puslapį, kai žmogus paprašo:
ChatGPT-User8,9 %,Perplexity-User7,7 %,Claude-User7,4 %.
Ar didesnės svetainės blokuoja daugiau?
Taip, be to, jos dažniau painioja mokymą su paieška. Sąrašą suskirstėme pagal vietą reitinge:
- 1–1 000 vieta (560 domenų su robots.txt): 28,6 % blokuoja mokymą, 18,6 % blokuoja DI paiešką, o 63,1 % mokymą blokuojančių blokuoja ir DI paiešką.
- 1 001–3 000 vieta (1 256 domenai): 23,5 %, 13,5 % ir 55,6 %.
- 3 001–10 000 vieta (4 376 domenai): 22,4 %, 11,2 % ir 48,6 %.
Selektyvus kelias retas bet kokio dydžio svetainėms: 10,5 %, 10,4 % ir 11,5 % domenų trijose grupėse.
Ar kas nors pasikeitė nuo lapkričio 12 d. ataskaitos?
Pirmuosius 1 000 domenų patikrinome iš naujo, naudodami tą patį sąrašą. Rezultatas stabilus maždaug vieno procentinio punkto tikslumu: 28,6 % blokuoja mokymą (lapkričio 12 d. buvo 29,9 %), 18,6 % blokuoja DI paiešką (19,5 %), o 63,1 % mokymą blokuojančių blokuoja ir DI paiešką (63,2 %). Vardikliai šiek tiek skiriasi (dabar 560 domenų su robots.txt, tada 518), nes šįkart prieš nuskaitydami failą sekame domeno nukreipimą į pagrindinį serverį.
Ką tai reiškia jūsų robots.txt?
Dauguma DI bendrovių aprašo atskirus mokymo ir paieškos robotus ir teigia, kad jų nustatymai nepriklausomi. GPTBot uždraudimas nepaliečia OAI-SearchBot, o ClaudeBot uždraudimas nepaliečia Claude-SearchBot. Jei norite atsisakyti mokymo, bet vis tiek būti cituojami, blokuokite mokymo žymas, leiskite paieškos ir naudotojo žymas ir pakartokite visus privačius kelius kiekvienoje grupėje, nes įvardyta grupė nepaveldi taisyklių iš *.
Kiek šie skaičiai patikimi?
Tai pagrindinio puslapio robots.txt taisyklės, kurias vienas analizatorius perskaitė vieną dieną. Jos nematuoja ugniasienės blokavimo, kuris gali atmesti robotą, nors robots.txt jį leidžia. Jos nepasako, ko norėjo kiekviena svetainė, o Tranco sąraše yra domenų, kurie nepateikia svetainės. Taisyklė, blokuojanti paieškos robotą, nėra klaidos įrodymas, tik pasirinkimas, kuris dažnai daromas nežinant skirtumo. Skaičius galite cituoti, pateikdami nuorodą į šį puslapį.
Kiti žingsniai
- robots.txt testeris ir tikrinimas DI robotams
- llms.txt tikrinimas ir validatorius
- Peržiūrėkite pilnos ataskaitos pavyzdį
- DI robotų stebėsena
- Planai ir kainos
Šiame straipsnyje minimi robotai
Dažniausiai užduodami klausimai
Kiek populiarių svetainių blokuoja DI robotus?
Iš 6 192 Tranco 10 000 geriausių sąrašo domenų, kurie pateikia robots.txt, 23,2 % blokuoja bent vieną DI mokymo robotą, o 12,3 % – bent vieną DI paieškos ar naudotojo robotą.
Ar svetainės, blokuojančios DI mokymą, blokuoja ir DI paiešką?
Dažnai. 51,6 % svetainių, blokuojančių mokymo robotą, blokuoja ir bent vieną DI paieškos ar naudotojo robotą, nors tiekėjai juos aprašo kaip atskirus robotus su nepriklausomais nustatymais.
Kuris DI robotas blokuojamas dažniausiai?
Tarp mokymo robotų tai Bytespider (18,7 %) ir CCBot (18,5 %), po jų GPTBot (17,4 %). Tarp DI paieškos robotų dažniausiai blokuojamas PerplexityBot, 10,4 % domenų.
Kodėl skaičiai skiriasi nuo jūsų 1 000 svetainių ataskaitos?
Pirmieji 1 000 domenų duoda beveik tuos pačius procentus (28,6 % ir 18,6 %, o ne 29,9 % ir 19,5 %). 10 000 svetainių rodikliai mažesni, nes mažesnės svetainės blokuoja rečiau.
Šaltiniai
- AISeeWhy: DI robotų prieigos ataskaita, 2026-11
- Tranco: moksliniams tyrimams skirtas populiariausių svetainių reitingas
- RFC 9309: robotų išskyrimo protokolas
- OpenAI: OpenAI robotų apžvalga
- Anthropic: ar Anthropic renka duomenis iš interneto ir kaip svetainių savininkai gali blokuoti robotą?
- Perplexity: Perplexity robotai