Přečetli jsme robots.txt 10 000 nejoblíbenějších webů. Takto zacházejí s AI crawlery

Publikováno

Stručná odpověď

Z 6 192 domén z Tranco top 10 000, které poskytují robots.txt, jich 23,2 % blokuje alespoň jednoho AI trénovacího crawlera a 12,3 % blokuje alespoň jednoho AI vyhledávacího nebo uživatelského crawlera. Z webů, které blokují trénování, jich 51,6 % blokuje také AI vyhledávání. Jen 11,2 % se odhlásí z trénování a přitom povolí všechny AI vyhledávací crawlery.

V listopadu jsme četli robots.txt 1 000 nejoblíbenějších domén. Tentokrát jsme jich přečetli 10 000 stejnou metodou a přidali jsme kontrolu, jak se obraz mění u menších webů. Hlavní zjištění platí: blokování trénování a blokování vyhledávání se považuje za jedno rozhodnutí, ačkoli jde o dvě různá.

Na této stránce
  1. Jak jsme měřili?
  2. Co jsme zjistili?
  3. Které crawlery se blokují nejčastěji?
  4. Blokují větší weby víc?
  5. Změnilo se něco od naší listopadové zprávy z 12. listopadu?
  6. Co to znamená pro váš robots.txt?
  7. Jak spolehlivá jsou tato čísla?

Jak jsme měřili?

Vzali jsme 10 000 nejlepších domén ze seznamu Tranco (ID seznamu JZWZY) a 21. listopadu 2026 jsme u každé domény jednou stáhli domovskou stránku, robots.txt a llms.txt, a to pod vlastním user agentem AISeeWhy. Každý robots.txt jsme posuzovali podle RFC 9309 pro domovskou stránku (/) a pro 16 AI a vyhledávacích crawlerů.

Robots.txt poskytovalo 6 192 z 10 000 domén (úspěšná odpověď, která není HTML stránkou). 1 121 domén odpovědělo kódem 4xx, což znamená žádná pravidla a všechny crawlery povoleny, a 2 687 domén robots.txt neposkytlo (web bez HTTPS, chyby, timeouty nebo HTML stránka místo souboru). Všechna procenta níže se vztahují k 6 192 doménám. Seznam zahrnuje CDN a API, které neslouží žádný web.

Co jsme zjistili?

Které crawlery se blokují nejčastěji?

Podíl ze 6 192 domén, jejichž robots.txt zakazuje crawleru přístup na domovskou stránku:

Blokují větší weby víc?

Ano, a trénování s vyhledáváním si pletou častěji. Seznam jsme rozdělili podle pořadí:

Selektivní cesta je vzácná u každé velikosti: 10,5 %, 10,4 % a 11,5 % domén ve třech skupinách.

Změnilo se něco od naší listopadové zprávy z 12. listopadu?

Prvních 1 000 domén jsme znovu zkontrolovali podle stejného seznamu. Výsledek je stabilní s odchylkou zhruba jednoho bodu: 28,6 % blokuje trénování (29,9 % dne 12. listopadu), 18,6 % blokuje AI vyhledávání (19,5 %) a 63,1 % z těch, kdo blokují trénování, blokuje i AI vyhledávání (63,2 %). Základy se mírně liší (nyní 560 domén s robots.txt, tehdy 518), protože tento běh před stažením sleduje přesměrování domény na hlavní hostitele.

Co to znamená pro váš robots.txt?

Většina AI firem popisuje samostatné crawlery pro trénování a pro vyhledávání a uvádí, že jejich nastavení je nezávislé. Zákaz pro GPTBot se OAI-SearchBot netýká a zákaz pro ClaudeBot se netýká Claude-SearchBot. Pokud se chcete odhlásit z trénování a přesto být citováni, blokujte trénovací tokeny, povolte vyhledávací a uživatelské tokeny a případné soukromé cesty zopakujte v každé skupině, protože pojmenovaná skupina nedědí z *.

Jak spolehlivá jsou tato čísla?

Jde o pravidla robots.txt pro domovskou stránku, přečtená jedním parserem v jeden den. Neměří blokace na firewallu, který může odmítnout crawler, jejž robots.txt povoluje. Nelze z nich poznat, co který web zamýšlel, a seznam Tranco obsahuje domény, které neslouží žádný web. Pravidlo blokující vyhledávacího crawlera není důkazem chyby, jen volby, která se často dělá bez znalosti rozdílu. Čísla můžete citovat s odkazem na tuto stránku.

Nástroje zdarma

Další kroky

Crawlery v tomto článku

Časté dotazy

Jaký podíl oblíbených webů blokuje AI crawlery?

Z 6 192 domén z Tranco top 10 000, které poskytují robots.txt, jich 23,2 % blokuje alespoň jednoho AI trénovacího crawlera a 12,3 % alespoň jednoho AI vyhledávacího nebo uživatelského crawlera.

Blokují weby, které blokují AI trénování, také AI vyhledávání?

Často ano. 51,6 % webů, které blokují trénovacího crawlera, blokuje také alespoň jednoho AI vyhledávacího nebo uživatelského crawlera, ačkoli je poskytovatelé popisují jako oddělené crawlery s nezávislým nastavením.

Který AI crawler se blokuje nejčastěji?

Mezi trénovacími crawlery Bytespider (18,7 %) a CCBot (18,5 %), poté GPTBot (17,4 %). Mezi AI vyhledávacími crawlery se nejčastěji blokuje PerplexityBot, a to u 10,4 % domén.

Proč se čísla liší od vaší zprávy o 1 000 webech?

Prvních 1 000 domén dává téměř stejná procenta (28,6 % a 18,6 % oproti 29,9 % a 19,5 %). Čísla pro 10 000 webů jsou nižší, protože menší weby blokují méně.

Zdroje

Další články