Prebrali smo robots.txt 10.000 najbolj priljubljenih strani. Tako ravnajo z AI-pajki

Objavljeno

Kratek odgovor

Od 6.192 domen med prvimi 10.000 na seznamu Tranco, ki postrežejo robots.txt, jih 23,2 % blokira vsaj enega AI-pajka za učenje in 12,3 % vsaj enega AI-pajka za iskanje ali uporabniškega pajka. 51,6 % mest, ki blokirajo učenje, blokira tudi AI-iskanje. Le 11,2 % jih učenje zavrne, vsem AI-pajkom za iskanje pa dovoli dostop.

Novembra smo prebrali robots.txt 1.000 najbolj priljubljenih domen. Zdaj smo jih prebrali 10.000, z isto metodo, in dodali preverjanje, kako se slika spreminja, ko so mesta manjša. Glavna ugotovitev drži: blokiranje učenja in blokiranje iskanja se obravnavata kot ena odločitev, čeprav sta dve.

Na tej strani
  1. Kako smo merili?
  2. Kaj smo ugotovili?
  3. Katere pajke blokirajo najpogosteje?
  4. Ali večja mesta blokirajo več?
  5. Se je od našega poročila z 12. novembra kaj spremenilo?
  6. Kaj to pomeni za vaš robots.txt?
  7. Kako zanesljive so te številke?

Kako smo merili?

Vzeli smo prvih 10.000 domen s seznama Tranco (ID seznama JZWZY) in 21. novembra 2026 z lastnim uporabniškim agentom AISeeWhy po enkrat prenesli domačo stran, robots.txt in llms.txt vsake domene. Vsak robots.txt smo ocenili po RFC 9309 za domačo stran (/) in za 16 AI-pajkov in iskalnih pajkov.

6.192 od 10.000 domen je postreglo robots.txt (uspešen odgovor, ki ni stran HTML). 1.121 jih je odgovorilo s 4xx, kar pomeni brez pravil in dovoljene vse pajke, 2.687 pa ga ni postreglo (brez mesta HTTPS, napake, časovne omejitve ali namesto tega stran HTML). Vsi spodnji odstotki so od teh 6.192. Seznam vključuje CDN-je in API-je, ki ne strežejo spletnega mesta.

Kaj smo ugotovili?

Katere pajke blokirajo najpogosteje?

Delež od 6.192 domen, katerih robots.txt pajku prepoveduje domačo stran:

Ali večja mesta blokirajo več?

Da, in učenje in iskanje mešajo pogosteje. Seznam smo razdelili po uvrstitvi:

Selektivna pot je redka pri vseh velikostih: 10,5 %, 10,4 % in 11,5 % domen v treh skupinah.

Se je od našega poročila z 12. novembra kaj spremenilo?

Prvih 1.000 domen smo ponovno pregledali z istim seznamom. Rezultat je stabilen znotraj približno ene točke: 28,6 % blokira učenje (29,9 % 12. novembra), 18,6 % blokira AI-iskanje (19,5 %), 63,1 % blokatorjev učenja pa blokira tudi AI-iskanje (63,2 %). Imenovalci se rahlo razlikujejo (zdaj 560 domen z robots.txt, takrat 518), ker ta pregled pred prenosom sledi preusmeritvi domene na glavni gostitelj.

Kaj to pomeni za vaš robots.txt?

Večina AI-podjetij dokumentira ločene pajke za učenje in za iskanje ter pravi, da so nastavitve neodvisne. Prepoved GPTBot ne vpliva na OAI-SearchBot, prepoved ClaudeBot pa ne vpliva na Claude-SearchBot. Če se želite izpisati iz učenja in biti še naprej navedeni, blokirajte oznake za učenje, oznake za iskanje in uporabnika pa dovolite, zasebne poti pa ponovite v vsaki skupini, ker imenovana skupina ne podeduje pravil od *.

Kako zanesljive so te številke?

To so pravila robots.txt za domačo stran, ki jih je en razčlenjevalnik prebral en dan. Ne merijo blokad požarnega zidu, ki lahko zavrne pajka, ki ga robots.txt dovoljuje. Ne morejo povedati, kaj je posamezno mesto nameravalo, seznam Tranco pa vključuje domene, ki ne strežejo spletnega mesta. Pravilo, ki blokira pajka za iskanje, ni dokaz napake, le izbire, ki jo pogosto sprejmejo, ne da bi poznali razliko. Številke lahko navajate s povezavo na to stran.

Brezplačna orodja

Naslednji koraki

Pajki v tem članku

Pogosta vprašanja

Kolikšen delež priljubljenih mest blokira AI-pajke?

Med 6.192 domenami med prvimi 10.000 na seznamu Tranco, ki postrežejo robots.txt, jih 23,2 % blokira vsaj enega AI-pajka za učenje in 12,3 % vsaj enega AI-pajka za iskanje ali uporabniškega pajka.

Ali mesta, ki blokirajo AI-učenje, blokirajo tudi AI-iskanje?

Pogosto. 51,6 % mest, ki blokirajo pajka za učenje, blokira tudi vsaj enega AI-pajka za iskanje ali uporabniškega pajka, čeprav ponudniki dokumentirajo, da gre za ločene pajke z neodvisnimi nastavitvami.

Kateri AI-pajek je blokiran najpogosteje?

Med pajki za učenje Bytespider (18,7 %) in CCBot (18,5 %), nato GPTBot (17,4 %). Med AI-pajki za iskanje je najpogosteje blokiran PerplexityBot, in sicer na 10,4 % domen.

Zakaj se številke razlikujejo od vašega poročila o 1.000 mestih?

Prvih 1.000 domen daje skoraj enake odstotke (28,6 % in 18,6 % proti 29,9 % in 19,5 %). Številke za 10.000 mest so nižje, ker manjša mesta blokirajo manj.

Viri

Več člankov