Prebrali smo robots.txt 10.000 najbolj priljubljenih strani. Tako ravnajo z AI-pajki
Od 6.192 domen med prvimi 10.000 na seznamu Tranco, ki postrežejo robots.txt, jih 23,2 % blokira vsaj enega AI-pajka za učenje in 12,3 % vsaj enega AI-pajka za iskanje ali uporabniškega pajka. 51,6 % mest, ki blokirajo učenje, blokira tudi AI-iskanje. Le 11,2 % jih učenje zavrne, vsem AI-pajkom za iskanje pa dovoli dostop.
Novembra smo prebrali robots.txt 1.000 najbolj priljubljenih domen. Zdaj smo jih prebrali 10.000, z isto metodo, in dodali preverjanje, kako se slika spreminja, ko so mesta manjša. Glavna ugotovitev drži: blokiranje učenja in blokiranje iskanja se obravnavata kot ena odločitev, čeprav sta dve.
Na tej strani
Kako smo merili?
Vzeli smo prvih 10.000 domen s seznama Tranco (ID seznama JZWZY) in 21. novembra 2026 z lastnim uporabniškim agentom AISeeWhy po enkrat prenesli domačo stran, robots.txt in llms.txt vsake domene. Vsak robots.txt smo ocenili po RFC 9309 za domačo stran (/) in za 16 AI-pajkov in iskalnih pajkov.
6.192 od 10.000 domen je postreglo robots.txt (uspešen odgovor, ki ni stran HTML). 1.121 jih je odgovorilo s 4xx, kar pomeni brez pravil in dovoljene vse pajke, 2.687 pa ga ni postreglo (brez mesta HTTPS, napake, časovne omejitve ali namesto tega stran HTML). Vsi spodnji odstotki so od teh 6.192. Seznam vključuje CDN-je in API-je, ki ne strežejo spletnega mesta.
Kaj smo ugotovili?
- 23,2 % (1.437 domen) blokira vsaj enega AI-pajka za učenje.
- 12,3 % (762) blokira vsaj enega AI-pajka za iskanje ali uporabniškega pajka, zato naj odgovori, ki se zanašajo nanj, teh strani ne bi uporabljali ali navajali.
- 51,6 % domen, ki blokirajo pajka za učenje (742 od 1.437), blokira tudi vsaj enega AI-pajka za iskanje ali uporabniškega pajka.
- Le 11,2 % (695) izbere selektivno pot: blokirajo pajke za učenje, vsem AI-pajkom za iskanje in uporabniškim pajkom pa dovolijo dostop.
- 6,5 % (401) svoje AI-nastavitve navede z
Content-Signal. - 12,4 % vseh 10.000 domen (1.240) objavlja
llms.txt. - Za primerjavo: 2,0 % (124) jih na domači strani blokira
Googlebot.
Katere pajke blokirajo najpogosteje?
Delež od 6.192 domen, katerih robots.txt pajku prepoveduje domačo stran:
Bytespider18,7 %,CCBot18,5 %,GPTBot17,4 %,ClaudeBot16,5 %.Meta-ExternalAgent15,5 %,Google-Extended14,9 %,Applebot-Extended14,6 %.PerplexityBot10,4 % je najpogosteje blokiran AI-pajek za iskanje, predOAI-SearchBot7,0 % inClaude-SearchBot7,0 %.- Pajki, ki odprejo stran, ko oseba vpraša:
ChatGPT-User8,9 %,Perplexity-User7,7 %,Claude-User7,4 %.
Ali večja mesta blokirajo več?
Da, in učenje in iskanje mešajo pogosteje. Seznam smo razdelili po uvrstitvi:
- Uvrstitve od 1 do 1.000 (560 domen z robots.txt): 28,6 % blokira učenje, 18,6 % blokira AI-iskanje, 63,1 % blokatorjev učenja blokira tudi AI-iskanje.
- Uvrstitve od 1.001 do 3.000 (1.256 domen): 23,5 %, 13,5 % in 55,6 %.
- Uvrstitve od 3.001 do 10.000 (4.376 domen): 22,4 %, 11,2 % in 48,6 %.
Selektivna pot je redka pri vseh velikostih: 10,5 %, 10,4 % in 11,5 % domen v treh skupinah.
Se je od našega poročila z 12. novembra kaj spremenilo?
Prvih 1.000 domen smo ponovno pregledali z istim seznamom. Rezultat je stabilen znotraj približno ene točke: 28,6 % blokira učenje (29,9 % 12. novembra), 18,6 % blokira AI-iskanje (19,5 %), 63,1 % blokatorjev učenja pa blokira tudi AI-iskanje (63,2 %). Imenovalci se rahlo razlikujejo (zdaj 560 domen z robots.txt, takrat 518), ker ta pregled pred prenosom sledi preusmeritvi domene na glavni gostitelj.
Kaj to pomeni za vaš robots.txt?
Večina AI-podjetij dokumentira ločene pajke za učenje in za iskanje ter pravi, da so nastavitve neodvisne. Prepoved GPTBot ne vpliva na OAI-SearchBot, prepoved ClaudeBot pa ne vpliva na Claude-SearchBot. Če se želite izpisati iz učenja in biti še naprej navedeni, blokirajte oznake za učenje, oznake za iskanje in uporabnika pa dovolite, zasebne poti pa ponovite v vsaki skupini, ker imenovana skupina ne podeduje pravil od *.
Kako zanesljive so te številke?
To so pravila robots.txt za domačo stran, ki jih je en razčlenjevalnik prebral en dan. Ne merijo blokad požarnega zidu, ki lahko zavrne pajka, ki ga robots.txt dovoljuje. Ne morejo povedati, kaj je posamezno mesto nameravalo, seznam Tranco pa vključuje domene, ki ne strežejo spletnega mesta. Pravilo, ki blokira pajka za iskanje, ni dokaz napake, le izbire, ki jo pogosto sprejmejo, ne da bi poznali razliko. Številke lahko navajate s povezavo na to stran.
Naslednji koraki
- Tester in preverjanje robots.txt za pajke UI
- Preverjanje in validator llms.txt
- Oglejte si primer celotnega poročila
- Spremljanje pajkov UI
- Paketi in cene
Pajki v tem članku
Pogosta vprašanja
Kolikšen delež priljubljenih mest blokira AI-pajke?
Med 6.192 domenami med prvimi 10.000 na seznamu Tranco, ki postrežejo robots.txt, jih 23,2 % blokira vsaj enega AI-pajka za učenje in 12,3 % vsaj enega AI-pajka za iskanje ali uporabniškega pajka.
Ali mesta, ki blokirajo AI-učenje, blokirajo tudi AI-iskanje?
Pogosto. 51,6 % mest, ki blokirajo pajka za učenje, blokira tudi vsaj enega AI-pajka za iskanje ali uporabniškega pajka, čeprav ponudniki dokumentirajo, da gre za ločene pajke z neodvisnimi nastavitvami.
Kateri AI-pajek je blokiran najpogosteje?
Med pajki za učenje Bytespider (18,7 %) in CCBot (18,5 %), nato GPTBot (17,4 %). Med AI-pajki za iskanje je najpogosteje blokiran PerplexityBot, in sicer na 10,4 % domen.
Zakaj se številke razlikujejo od vašega poročila o 1.000 mestih?
Prvih 1.000 domen daje skoraj enake odstotke (28,6 % in 18,6 % proti 29,9 % in 19,5 %). Številke za 10.000 mest so nižje, ker manjša mesta blokirajo manj.
Viri
- AISeeWhy: AI Crawler Access Report, 2026-11
- Tranco: a research-oriented top sites ranking
- RFC 9309: Robots Exclusion Protocol
- OpenAI: Overview of OpenAI crawlers
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Perplexity: Perplexity crawlers