Pročitali smo robots.txt 10.000 najpopularnijih web-mjesta. Evo što rade s AI crawlerima

Objavljeno

Kratki odgovor

Od 6.192 domene iz Tranco top 10.000 koje poslužuju robots.txt, 23,2% blokira barem jednog AI crawlera za treniranje, a 12,3% barem jednog AI crawlera za pretraživanje ili korisničkog crawlera. Od web-mjesta koja blokiraju treniranje, njih 51,6% blokira i AI pretraživanje. Samo 11,2% odbija treniranje, a dopušta sve AI crawlere za pretraživanje.

U studenome smo pročitali robots.txt 1.000 najpopularnijih domena. Ovaj put čitamo 10.000, istom metodom, i dodajemo provjeru kako se slika mijenja kako web-mjesta postaju manja. Glavni zaključak ostaje: blokiranje treniranja i blokiranje pretraživanja tretiraju se kao jedna odluka, iako su dvije.

Na ovoj stranici
  1. Kako smo mjerili?
  2. Što smo otkrili?
  3. Koji se crawleri najčešće blokiraju?
  4. Blokiraju li veća web-mjesta više?
  5. Je li se nešto promijenilo od našeg izvješća od 12. studenoga?
  6. Što to znači za vaš robots.txt?
  7. Koliko su ovi brojevi pouzdani?

Kako smo mjerili?

Uzeli smo 10.000 najboljih domena s Tranco popisa (ID popisa JZWZY) i 21. studenoga 2026. jednom dohvatili početnu stranicu, robots.txt i llms.txt svake domene, s vlastitim user agentom AISeeWhy. Svaki robots.txt ocijenili smo prema RFC 9309 za početnu stranicu (/) i za 16 AI crawlera i crawlera za pretraživanje.

Od 10.000 domena, 6.192 su poslužile robots.txt (uspješan odgovor koji nije HTML stranica). Njih 1.121 odgovorilo je s 4xx, što znači da nema pravila i da su svi crawleri dopušteni, a 2.687 ga nije poslužilo (nema HTTPS web-mjesta, pogreške, istek vremena ili umjesto toga HTML stranica). Svi postoci u nastavku odnose se na tih 6.192. Popis uključuje CDN-ove i API-je koji ne poslužuju web-mjesto.

Što smo otkrili?

Koji se crawleri najčešće blokiraju?

Udio od 6.192 domene čiji robots.txt zabranjuje početnu stranicu za crawlera:

Blokiraju li veća web-mjesta više?

Da, i češće miješaju treniranje i pretraživanje. Popis smo podijelili prema rangu:

Selektivan put rijedak je na svakoj razini: 10,5%, 10,4% i 11,5% domena u te tri skupine.

Je li se nešto promijenilo od našeg izvješća od 12. studenoga?

Ponovno smo obradili prvih 1.000 domena s istim popisom. Rezultat je stabilan unutar otprilike jednog postotnog boda: 28,6% blokira treniranje (29,9% 12. studenoga), 18,6% blokira AI pretraživanje (19,5%), a 63,1% onih koji blokiraju treniranje blokira i AI pretraživanje (63,2%). Nazivnici se malo razlikuju (sada 560 domena s robots.txt, tada 518) jer ovaj prolaz prije dohvaćanja slijedi preusmjeravanje domene na njezin glavni host.

Što to znači za vaš robots.txt?

Većina AI tvrtki dokumentira zasebne crawlere za treniranje i za pretraživanje te navodi da su postavke neovisne. Zabrana GPTBot ne dira OAI-SearchBot, a zabrana ClaudeBot ne dira Claude-SearchBot. Ako želite isključiti treniranje, a ipak biti citirani, blokirajte oznake za treniranje i dopustite oznake za pretraživanje i korisničke oznake, te ponovite sve privatne putanje u svakoj skupini, jer imenovana skupina ne nasljeđuje skupinu *.

Koliko su ovi brojevi pouzdani?

To su pravila robots.txt za početnu stranicu, koja je jedan parser pročitao u jednom danu. Ne mjere blokade vatrozida, koje mogu odbiti crawlera kojeg robots.txt dopušta. Ne mogu reći što je koje web-mjesto namjeravalo, a Tranco popis uključuje domene koje ne poslužuju web-mjesto. Pravilo koje blokira crawlera za pretraživanje nije dokaz greške, nego izbora koji se često donosi bez poznavanja razlike. Brojke možete citirati uz poveznicu na ovu stranicu.

Besplatni alati

Sljedeći koraci

Crawleri u ovom članku

Česta pitanja

Koliki udio popularnih web-mjesta blokira AI crawlere?

Među 6.192 domene iz Tranco top 10.000 koje poslužuju robots.txt, 23,2% blokira barem jednog AI crawlera za treniranje, a 12,3% barem jednog AI crawlera za pretraživanje ili korisničkog crawlera.

Blokiraju li web-mjesta koja blokiraju AI treniranje i AI pretraživanje?

Često. Od web-mjesta koja blokiraju crawlera za treniranje, njih 51,6% blokira i barem jednog AI crawlera za pretraživanje ili korisničkog crawlera, iako ih davatelji dokumentiraju kao zasebne crawlere s neovisnim postavkama.

Koji se AI crawler najčešće blokira?

Među crawlerima za treniranje to su Bytespider (18,7%) i CCBot (18,5%), zatim GPTBot (17,4%). Među AI crawlerima za pretraživanje najčešće se blokira PerplexityBot, na 10,4% domena.

Zašto se brojke razlikuju od vašeg izvješća o 1.000 web-mjesta?

Prvih 1.000 domena daje gotovo iste postotke (28,6% i 18,6% prema 29,9% i 19,5%). Brojke za 10.000 web-mjesta niže su jer manja web-mjesta blokiraju manje.

Izvori

Još članaka