Prečítali sme robots.txt 10 000 najpopulárnejších webov. Takto zaobchádzajú s AI crawlermi

Publikované

Krátka odpoveď

Zo 6 192 domén z Tranco top 10 000, ktoré poskytujú robots.txt, 23,2 % blokuje aspoň jeden AI tréningový crawler a 12,3 % blokuje aspoň jeden AI vyhľadávací alebo používateľský crawler. 51,6 % webov, ktoré blokujú tréning, blokuje aj AI vyhľadávanie. Len 11,2 % odmieta tréning a zároveň povoľuje všetky AI vyhľadávacie crawlery.

V novembri sme prečítali robots.txt 1 000 najpopulárnejších domén. Teraz sme prečítali 10 000 rovnakou metódou a pridali sme kontrolu, ako sa obraz mení pri menších weboch. Hlavné zistenie platí: blokovanie tréningu a blokovanie vyhľadávania sa považuje za jedno rozhodnutie, hoci ide o dve.

Na tejto stránke
  1. Ako sme to merali?
  2. Čo sme zistili?
  3. Ktoré crawlery sa blokujú najčastejšie?
  4. Blokujú väčšie weby viac?
  5. Zmenilo sa niečo od našej správy z 12. novembra?
  6. Čo to znamená pre váš robots.txt?
  7. Nakoľko sú tieto čísla spoľahlivé?

Ako sme to merali?

Vzali sme 10 000 najlepších domén zo zoznamu Tranco (ID zoznamu JZWZY) a 21. novembra 2026 sme raz stiahli domovskú stránku, robots.txt a llms.txt každej domény pod vlastným user agentom AISeeWhy. Každý robots.txt sme posúdili podľa RFC 9309 pre domovskú stránku (/) a pre 16 AI a vyhľadávacích crawlerov.

6 192 z 10 000 domén poskytovalo robots.txt (úspešná odpoveď, ktorá nie je HTML stránkou). 1 121 odpovedalo kódom 4xx, čo znamená žiadne pravidlá a povolené všetky crawlery, a 2 687 ho neposkytlo (web bez HTTPS, chyby, vypršanie času alebo HTML stránka namiesto súboru). Všetky percentá nižšie sú z 6 192. Zoznam obsahuje aj CDN a API, ktoré neposkytujú web.

Čo sme zistili?

Ktoré crawlery sa blokujú najčastejšie?

Podiel zo 6 192 domén, ktorých robots.txt zakazuje crawleru domovskú stránku:

Blokujú väčšie weby viac?

Áno, a tréning a vyhľadávanie si zamieňajú častejšie. Zoznam sme rozdelili podľa poradia:

Selektívna cesta je vzácna pri každej veľkosti: 10,5 %, 10,4 % a 11,5 % domén v troch skupinách.

Zmenilo sa niečo od našej správy z 12. novembra?

Prvých 1 000 domén sme prešli znova s rovnakým zoznamom. Výsledok je stabilný v rozmedzí asi jedného bodu: 28,6 % blokuje tréning (29,9 % z 12. novembra), 18,6 % blokuje AI vyhľadávanie (19,5 %) a 63,1 % blokujúcich tréning blokuje aj AI vyhľadávanie (63,2 %). Základy sa mierne líšia (teraz 560 domén s robots.txt, vtedy 518), pretože tento beh pred stiahnutím sleduje presmerovanie domény na hlavný host.

Čo to znamená pre váš robots.txt?

Väčšina AI firiem dokumentuje samostatné crawlery pre tréning a pre vyhľadávanie a tvrdí, že ich nastavenia sú nezávislé. Zákaz pre GPTBot sa OAI-SearchBot netýka a zákaz pre ClaudeBot sa netýka Claude-SearchBot. Ak chcete odmietnuť tréning a zároveň byť citovaní, zablokujte tréningové tokeny, povoľte vyhľadávacie a používateľské tokeny a súkromné cesty zopakujte v každej skupine, pretože pomenovaná skupina nededí pravidlá z *.

Nakoľko sú tieto čísla spoľahlivé?

Ide o pravidlá robots.txt pre domovskú stránku, prečítané jedným parserom v jeden deň. Nemerajú blokovanie firewallom, ktorý môže odmietnuť crawler, ktorý robots.txt povoľuje. Nevedia povedať, čo každý web zamýšľal, a zoznam Tranco obsahuje domény, ktoré neposkytujú web. Pravidlo blokujúce vyhľadávací crawler nie je dôkazom chyby, iba voľby, ktorá sa často robí bez poznania rozdielu. Čísla môžete citovať s odkazom na túto stránku.

Nástroje zadarmo

Ďalšie kroky

Crawlery v tomto článku

Časté otázky

Aký podiel populárnych webov blokuje AI crawlery?

Zo 6 192 domén z Tranco top 10 000, ktoré poskytujú robots.txt, 23,2 % blokuje aspoň jeden AI tréningový crawler a 12,3 % blokuje aspoň jeden AI vyhľadávací alebo používateľský crawler.

Blokujú weby, ktoré blokujú AI tréning, aj AI vyhľadávanie?

Často. 51,6 % webov, ktoré blokujú tréningový crawler, blokuje aj aspoň jeden AI vyhľadávací alebo používateľský crawler, hoci ich poskytovatelia dokumentujú ako samostatné crawlery s nezávislými nastaveniami.

Ktorý AI crawler sa blokuje najčastejšie?

Z tréningových crawlerov Bytespider (18,7 %) a CCBot (18,5 %), potom GPTBot (17,4 %). Z AI vyhľadávacích crawlerov sa najčastejšie blokuje PerplexityBot, a to na 10,4 % domén.

Prečo sa čísla líšia od vašej správy o 1 000 weboch?

Prvých 1 000 domén dáva takmer rovnaké percentá (28,6 % a 18,6 % oproti 29,9 % a 19,5 %). Údaje z 10 000 webov sú nižšie, pretože menšie weby blokujú menej.

Zdroje

Ďalšie články