Pročitali smo robots.txt 10.000 najpopularnijih web-mjesta. Evo što rade s AI crawlerima
Od 6.192 domene iz Tranco top 10.000 koje poslužuju robots.txt, 23,2% blokira barem jednog AI crawlera za treniranje, a 12,3% barem jednog AI crawlera za pretraživanje ili korisničkog crawlera. Od web-mjesta koja blokiraju treniranje, njih 51,6% blokira i AI pretraživanje. Samo 11,2% odbija treniranje, a dopušta sve AI crawlere za pretraživanje.
U studenome smo pročitali robots.txt 1.000 najpopularnijih domena. Ovaj put čitamo 10.000, istom metodom, i dodajemo provjeru kako se slika mijenja kako web-mjesta postaju manja. Glavni zaključak ostaje: blokiranje treniranja i blokiranje pretraživanja tretiraju se kao jedna odluka, iako su dvije.
Na ovoj stranici
Kako smo mjerili?
Uzeli smo 10.000 najboljih domena s Tranco popisa (ID popisa JZWZY) i 21. studenoga 2026. jednom dohvatili početnu stranicu, robots.txt i llms.txt svake domene, s vlastitim user agentom AISeeWhy. Svaki robots.txt ocijenili smo prema RFC 9309 za početnu stranicu (/) i za 16 AI crawlera i crawlera za pretraživanje.
Od 10.000 domena, 6.192 su poslužile robots.txt (uspješan odgovor koji nije HTML stranica). Njih 1.121 odgovorilo je s 4xx, što znači da nema pravila i da su svi crawleri dopušteni, a 2.687 ga nije poslužilo (nema HTTPS web-mjesta, pogreške, istek vremena ili umjesto toga HTML stranica). Svi postoci u nastavku odnose se na tih 6.192. Popis uključuje CDN-ove i API-je koji ne poslužuju web-mjesto.
Što smo otkrili?
- 23,2% (1.437 domena) blokira barem jednog AI crawlera za treniranje.
- 12,3% (762) blokira barem jednog AI crawlera za pretraživanje ili korisničkog crawlera, pa se njihove stranice ne bi smjele koristiti ni citirati u odgovorima koji se na njega oslanjaju.
- 51,6% domena koje blokiraju crawlera za treniranje (742 od 1.437) blokira i barem jednog AI crawlera za pretraživanje ili korisničkog crawlera.
- Samo 11,2% (695) bira selektivan put: blokira crawlere za treniranje, a dopušta sve AI crawlere za pretraživanje i korisničke crawlere.
- 6,5% (401) svoje AI preferencije navodi pomoću
Content-Signal. - 12,4% svih 10.000 domena (1.240) objavljuje
llms.txt. - Za usporedbu, 2,0% (124) blokira
Googlebotna početnoj stranici.
Koji se crawleri najčešće blokiraju?
Udio od 6.192 domene čiji robots.txt zabranjuje početnu stranicu za crawlera:
Bytespider18,7%,CCBot18,5%,GPTBot17,4%,ClaudeBot16,5%.Meta-ExternalAgent15,5%,Google-Extended14,9%,Applebot-Extended14,6%.PerplexityBot10,4% je AI crawler za pretraživanje koji se najčešće blokira, ispredOAI-SearchBot7,0% iClaude-SearchBot7,0%.- Crawleri koji otvaraju stranicu kad osoba pita:
ChatGPT-User8,9%,Perplexity-User7,7%,Claude-User7,4%.
Blokiraju li veća web-mjesta više?
Da, i češće miješaju treniranje i pretraživanje. Popis smo podijelili prema rangu:
- Rangovi od 1 do 1.000 (560 domena s robots.txt): 28,6% blokira treniranje, 18,6% blokira AI pretraživanje, a 63,1% onih koji blokiraju treniranje blokira i AI pretraživanje.
- Rangovi od 1.001 do 3.000 (1.256 domena): 23,5%, 13,5% i 55,6%.
- Rangovi od 3.001 do 10.000 (4.376 domena): 22,4%, 11,2% i 48,6%.
Selektivan put rijedak je na svakoj razini: 10,5%, 10,4% i 11,5% domena u te tri skupine.
Je li se nešto promijenilo od našeg izvješća od 12. studenoga?
Ponovno smo obradili prvih 1.000 domena s istim popisom. Rezultat je stabilan unutar otprilike jednog postotnog boda: 28,6% blokira treniranje (29,9% 12. studenoga), 18,6% blokira AI pretraživanje (19,5%), a 63,1% onih koji blokiraju treniranje blokira i AI pretraživanje (63,2%). Nazivnici se malo razlikuju (sada 560 domena s robots.txt, tada 518) jer ovaj prolaz prije dohvaćanja slijedi preusmjeravanje domene na njezin glavni host.
Što to znači za vaš robots.txt?
Većina AI tvrtki dokumentira zasebne crawlere za treniranje i za pretraživanje te navodi da su postavke neovisne. Zabrana GPTBot ne dira OAI-SearchBot, a zabrana ClaudeBot ne dira Claude-SearchBot. Ako želite isključiti treniranje, a ipak biti citirani, blokirajte oznake za treniranje i dopustite oznake za pretraživanje i korisničke oznake, te ponovite sve privatne putanje u svakoj skupini, jer imenovana skupina ne nasljeđuje skupinu *.
Koliko su ovi brojevi pouzdani?
To su pravila robots.txt za početnu stranicu, koja je jedan parser pročitao u jednom danu. Ne mjere blokade vatrozida, koje mogu odbiti crawlera kojeg robots.txt dopušta. Ne mogu reći što je koje web-mjesto namjeravalo, a Tranco popis uključuje domene koje ne poslužuju web-mjesto. Pravilo koje blokira crawlera za pretraživanje nije dokaz greške, nego izbora koji se često donosi bez poznavanja razlike. Brojke možete citirati uz poveznicu na ovu stranicu.
Sljedeći koraci
- robots.txt tester i provjera za AI crawlere
- Provjera i validator llms.txt
- Pogledajte primjer potpunog izvještaja
- Praćenje AI crawlera
- Planovi i cijene
Crawleri u ovom članku
Česta pitanja
Koliki udio popularnih web-mjesta blokira AI crawlere?
Među 6.192 domene iz Tranco top 10.000 koje poslužuju robots.txt, 23,2% blokira barem jednog AI crawlera za treniranje, a 12,3% barem jednog AI crawlera za pretraživanje ili korisničkog crawlera.
Blokiraju li web-mjesta koja blokiraju AI treniranje i AI pretraživanje?
Često. Od web-mjesta koja blokiraju crawlera za treniranje, njih 51,6% blokira i barem jednog AI crawlera za pretraživanje ili korisničkog crawlera, iako ih davatelji dokumentiraju kao zasebne crawlere s neovisnim postavkama.
Koji se AI crawler najčešće blokira?
Među crawlerima za treniranje to su Bytespider (18,7%) i CCBot (18,5%), zatim GPTBot (17,4%). Među AI crawlerima za pretraživanje najčešće se blokira PerplexityBot, na 10,4% domena.
Zašto se brojke razlikuju od vašeg izvješća o 1.000 web-mjesta?
Prvih 1.000 domena daje gotovo iste postotke (28,6% i 18,6% prema 29,9% i 19,5%). Brojke za 10.000 web-mjesta niže su jer manja web-mjesta blokiraju manje.
Izvori
- AISeeWhy: AI Crawler Access Report, 2026-11
- Tranco: a research-oriented top sites ranking
- RFC 9309: Robots Exclusion Protocol
- OpenAI: Overview of OpenAI crawlers
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Perplexity: Perplexity crawlers