Prečítali sme robots.txt 10 000 najpopulárnejších webov. Takto zaobchádzajú s AI crawlermi
Zo 6 192 domén z Tranco top 10 000, ktoré poskytujú robots.txt, 23,2 % blokuje aspoň jeden AI tréningový crawler a 12,3 % blokuje aspoň jeden AI vyhľadávací alebo používateľský crawler. 51,6 % webov, ktoré blokujú tréning, blokuje aj AI vyhľadávanie. Len 11,2 % odmieta tréning a zároveň povoľuje všetky AI vyhľadávacie crawlery.
V novembri sme prečítali robots.txt 1 000 najpopulárnejších domén. Teraz sme prečítali 10 000 rovnakou metódou a pridali sme kontrolu, ako sa obraz mení pri menších weboch. Hlavné zistenie platí: blokovanie tréningu a blokovanie vyhľadávania sa považuje za jedno rozhodnutie, hoci ide o dve.
Na tejto stránke
Ako sme to merali?
Vzali sme 10 000 najlepších domén zo zoznamu Tranco (ID zoznamu JZWZY) a 21. novembra 2026 sme raz stiahli domovskú stránku, robots.txt a llms.txt každej domény pod vlastným user agentom AISeeWhy. Každý robots.txt sme posúdili podľa RFC 9309 pre domovskú stránku (/) a pre 16 AI a vyhľadávacích crawlerov.
6 192 z 10 000 domén poskytovalo robots.txt (úspešná odpoveď, ktorá nie je HTML stránkou). 1 121 odpovedalo kódom 4xx, čo znamená žiadne pravidlá a povolené všetky crawlery, a 2 687 ho neposkytlo (web bez HTTPS, chyby, vypršanie času alebo HTML stránka namiesto súboru). Všetky percentá nižšie sú z 6 192. Zoznam obsahuje aj CDN a API, ktoré neposkytujú web.
Čo sme zistili?
- 23,2 % (1 437 domén) blokuje aspoň jeden AI tréningový crawler.
- 12,3 % (762) blokuje aspoň jeden AI vyhľadávací alebo používateľský crawler, takže ich stránky by sa nemali používať ani citovať v odpovediach, ktoré sa o ne opierajú.
- 51,6 % domén, ktoré blokujú tréningový crawler (742 z 1 437), blokuje aj aspoň jeden AI vyhľadávací alebo používateľský crawler.
- Len 11,2 % (695) volí selektívnu cestu: blokuje tréningové crawlery a povoľuje všetky AI vyhľadávacie a používateľské crawlery.
- 6,5 % (401) uvádza svoje preferencie pre AI pomocou
Content-Signal. - 12,4 % zo všetkých 10 000 domén (1 240) zverejňuje
llms.txt. - Pre porovnanie: 2,0 % (124) blokuje
Googlebotna domovskej stránke.
Ktoré crawlery sa blokujú najčastejšie?
Podiel zo 6 192 domén, ktorých robots.txt zakazuje crawleru domovskú stránku:
Bytespider18,7 %,CCBot18,5 %,GPTBot17,4 %,ClaudeBot16,5 %.Meta-ExternalAgent15,5 %,Google-Extended14,9 %,Applebot-Extended14,6 %.PerplexityBot10,4 % je najčastejšie blokovaný AI vyhľadávací crawler, predOAI-SearchBot7,0 % aClaude-SearchBot7,0 %.- Crawlery, ktoré otvoria stránku, keď sa niekto spýta:
ChatGPT-User8,9 %,Perplexity-User7,7 %,Claude-User7,4 %.
Blokujú väčšie weby viac?
Áno, a tréning a vyhľadávanie si zamieňajú častejšie. Zoznam sme rozdelili podľa poradia:
- Poradie 1 až 1 000 (560 domén s robots.txt): 28,6 % blokuje tréning, 18,6 % blokuje AI vyhľadávanie a 63,1 % blokujúcich tréning blokuje aj AI vyhľadávanie.
- Poradie 1 001 až 3 000 (1 256 domén): 23,5 %, 13,5 % a 55,6 %.
- Poradie 3 001 až 10 000 (4 376 domén): 22,4 %, 11,2 % a 48,6 %.
Selektívna cesta je vzácna pri každej veľkosti: 10,5 %, 10,4 % a 11,5 % domén v troch skupinách.
Zmenilo sa niečo od našej správy z 12. novembra?
Prvých 1 000 domén sme prešli znova s rovnakým zoznamom. Výsledok je stabilný v rozmedzí asi jedného bodu: 28,6 % blokuje tréning (29,9 % z 12. novembra), 18,6 % blokuje AI vyhľadávanie (19,5 %) a 63,1 % blokujúcich tréning blokuje aj AI vyhľadávanie (63,2 %). Základy sa mierne líšia (teraz 560 domén s robots.txt, vtedy 518), pretože tento beh pred stiahnutím sleduje presmerovanie domény na hlavný host.
Čo to znamená pre váš robots.txt?
Väčšina AI firiem dokumentuje samostatné crawlery pre tréning a pre vyhľadávanie a tvrdí, že ich nastavenia sú nezávislé. Zákaz pre GPTBot sa OAI-SearchBot netýka a zákaz pre ClaudeBot sa netýka Claude-SearchBot. Ak chcete odmietnuť tréning a zároveň byť citovaní, zablokujte tréningové tokeny, povoľte vyhľadávacie a používateľské tokeny a súkromné cesty zopakujte v každej skupine, pretože pomenovaná skupina nededí pravidlá z *.
Nakoľko sú tieto čísla spoľahlivé?
Ide o pravidlá robots.txt pre domovskú stránku, prečítané jedným parserom v jeden deň. Nemerajú blokovanie firewallom, ktorý môže odmietnuť crawler, ktorý robots.txt povoľuje. Nevedia povedať, čo každý web zamýšľal, a zoznam Tranco obsahuje domény, ktoré neposkytujú web. Pravidlo blokujúce vyhľadávací crawler nie je dôkazom chyby, iba voľby, ktorá sa často robí bez poznania rozdielu. Čísla môžete citovať s odkazom na túto stránku.
Ďalšie kroky
- robots.txt tester a kontrola pre AI crawlery
- Kontrola a validátor llms.txt
- Pozrite si ukážku úplnej správy
- Monitoring AI crawlerov
- Plány a ceny
Crawlery v tomto článku
Časté otázky
Aký podiel populárnych webov blokuje AI crawlery?
Zo 6 192 domén z Tranco top 10 000, ktoré poskytujú robots.txt, 23,2 % blokuje aspoň jeden AI tréningový crawler a 12,3 % blokuje aspoň jeden AI vyhľadávací alebo používateľský crawler.
Blokujú weby, ktoré blokujú AI tréning, aj AI vyhľadávanie?
Často. 51,6 % webov, ktoré blokujú tréningový crawler, blokuje aj aspoň jeden AI vyhľadávací alebo používateľský crawler, hoci ich poskytovatelia dokumentujú ako samostatné crawlery s nezávislými nastaveniami.
Ktorý AI crawler sa blokuje najčastejšie?
Z tréningových crawlerov Bytespider (18,7 %) a CCBot (18,5 %), potom GPTBot (17,4 %). Z AI vyhľadávacích crawlerov sa najčastejšie blokuje PerplexityBot, a to na 10,4 % domén.
Prečo sa čísla líšia od vašej správy o 1 000 weboch?
Prvých 1 000 domén dáva takmer rovnaké percentá (28,6 % a 18,6 % oproti 29,9 % a 19,5 %). Údaje z 10 000 webov sú nižšie, pretože menšie weby blokujú menej.
Zdroje
- AISeeWhy: Správa o prístupe AI crawlerov, 2026-11
- Tranco: rebríček top webov určený na výskum
- RFC 9309: Robots Exclusion Protocol
- OpenAI: Prehľad crawlerov OpenAI
- Anthropic: Zbiera Anthropic dáta z webu a ako môžu vlastníci webov zablokovať crawler?
- Perplexity: Crawlery Perplexity