Přečetli jsme robots.txt 10 000 nejoblíbenějších webů. Takto zacházejí s AI crawlery
Z 6 192 domén z Tranco top 10 000, které poskytují robots.txt, jich 23,2 % blokuje alespoň jednoho AI trénovacího crawlera a 12,3 % blokuje alespoň jednoho AI vyhledávacího nebo uživatelského crawlera. Z webů, které blokují trénování, jich 51,6 % blokuje také AI vyhledávání. Jen 11,2 % se odhlásí z trénování a přitom povolí všechny AI vyhledávací crawlery.
V listopadu jsme četli robots.txt 1 000 nejoblíbenějších domén. Tentokrát jsme jich přečetli 10 000 stejnou metodou a přidali jsme kontrolu, jak se obraz mění u menších webů. Hlavní zjištění platí: blokování trénování a blokování vyhledávání se považuje za jedno rozhodnutí, ačkoli jde o dvě různá.
Na této stránce
Jak jsme měřili?
Vzali jsme 10 000 nejlepších domén ze seznamu Tranco (ID seznamu JZWZY) a 21. listopadu 2026 jsme u každé domény jednou stáhli domovskou stránku, robots.txt a llms.txt, a to pod vlastním user agentem AISeeWhy. Každý robots.txt jsme posuzovali podle RFC 9309 pro domovskou stránku (/) a pro 16 AI a vyhledávacích crawlerů.
Robots.txt poskytovalo 6 192 z 10 000 domén (úspěšná odpověď, která není HTML stránkou). 1 121 domén odpovědělo kódem 4xx, což znamená žádná pravidla a všechny crawlery povoleny, a 2 687 domén robots.txt neposkytlo (web bez HTTPS, chyby, timeouty nebo HTML stránka místo souboru). Všechna procenta níže se vztahují k 6 192 doménám. Seznam zahrnuje CDN a API, které neslouží žádný web.
Co jsme zjistili?
- 23,2 % (1 437 domén) blokuje alespoň jednoho AI trénovacího crawlera.
- 12,3 % (762) blokuje alespoň jednoho AI vyhledávacího nebo uživatelského crawlera, takže jejich stránky by neměly být používány ani citovány v odpovědích, které na něm stojí.
- 51,6 % domén, které blokují trénovacího crawlera (742 z 1 437), blokuje také alespoň jednoho AI vyhledávacího nebo uživatelského crawlera.
- Jen 11,2 % (695) volí selektivní cestu: blokují trénovací crawlery a povolují všechny AI vyhledávací a uživatelské crawlery.
- 6,5 % (401) uvádí své AI preference pomocí
Content-Signal. - 12,4 % ze všech 10 000 domén (1 240) zveřejňuje
llms.txt. - Pro srovnání: 2,0 % (124) blokuje
Googlebotna domovské stránce.
Které crawlery se blokují nejčastěji?
Podíl ze 6 192 domén, jejichž robots.txt zakazuje crawleru přístup na domovskou stránku:
Bytespider18,7 %,CCBot18,5 %,GPTBot17,4 %,ClaudeBot16,5 %.Meta-ExternalAgent15,5 %,Google-Extended14,9 %,Applebot-Extended14,6 %.PerplexityBot10,4 % je nejčastěji blokovaný AI vyhledávací crawler, předOAI-SearchBot7,0 % aClaude-SearchBot7,0 %.- Crawlery, které otevřou stránku, když se člověk na něco zeptá:
ChatGPT-User8,9 %,Perplexity-User7,7 %,Claude-User7,4 %.
Blokují větší weby víc?
Ano, a trénování s vyhledáváním si pletou častěji. Seznam jsme rozdělili podle pořadí:
- Pořadí 1 až 1 000 (560 domén s robots.txt): 28,6 % blokuje trénování, 18,6 % blokuje AI vyhledávání a 63,1 % z těch, kdo blokují trénování, blokuje i AI vyhledávání.
- Pořadí 1 001 až 3 000 (1 256 domén): 23,5 %, 13,5 % a 55,6 %.
- Pořadí 3 001 až 10 000 (4 376 domén): 22,4 %, 11,2 % a 48,6 %.
Selektivní cesta je vzácná u každé velikosti: 10,5 %, 10,4 % a 11,5 % domén ve třech skupinách.
Změnilo se něco od naší listopadové zprávy z 12. listopadu?
Prvních 1 000 domén jsme znovu zkontrolovali podle stejného seznamu. Výsledek je stabilní s odchylkou zhruba jednoho bodu: 28,6 % blokuje trénování (29,9 % dne 12. listopadu), 18,6 % blokuje AI vyhledávání (19,5 %) a 63,1 % z těch, kdo blokují trénování, blokuje i AI vyhledávání (63,2 %). Základy se mírně liší (nyní 560 domén s robots.txt, tehdy 518), protože tento běh před stažením sleduje přesměrování domény na hlavní hostitele.
Co to znamená pro váš robots.txt?
Většina AI firem popisuje samostatné crawlery pro trénování a pro vyhledávání a uvádí, že jejich nastavení je nezávislé. Zákaz pro GPTBot se OAI-SearchBot netýká a zákaz pro ClaudeBot se netýká Claude-SearchBot. Pokud se chcete odhlásit z trénování a přesto být citováni, blokujte trénovací tokeny, povolte vyhledávací a uživatelské tokeny a případné soukromé cesty zopakujte v každé skupině, protože pojmenovaná skupina nedědí z *.
Jak spolehlivá jsou tato čísla?
Jde o pravidla robots.txt pro domovskou stránku, přečtená jedním parserem v jeden den. Neměří blokace na firewallu, který může odmítnout crawler, jejž robots.txt povoluje. Nelze z nich poznat, co který web zamýšlel, a seznam Tranco obsahuje domény, které neslouží žádný web. Pravidlo blokující vyhledávacího crawlera není důkazem chyby, jen volby, která se často dělá bez znalosti rozdílu. Čísla můžete citovat s odkazem na tuto stránku.
Další kroky
- robots.txt tester a kontrola pro AI crawlery
- Kontrola a validátor llms.txt
- Podívejte se na ukázku plné zprávy
- Monitoring AI crawlerů
- Plány a ceny
Crawlery v tomto článku
Časté dotazy
Jaký podíl oblíbených webů blokuje AI crawlery?
Z 6 192 domén z Tranco top 10 000, které poskytují robots.txt, jich 23,2 % blokuje alespoň jednoho AI trénovacího crawlera a 12,3 % alespoň jednoho AI vyhledávacího nebo uživatelského crawlera.
Blokují weby, které blokují AI trénování, také AI vyhledávání?
Často ano. 51,6 % webů, které blokují trénovacího crawlera, blokuje také alespoň jednoho AI vyhledávacího nebo uživatelského crawlera, ačkoli je poskytovatelé popisují jako oddělené crawlery s nezávislým nastavením.
Který AI crawler se blokuje nejčastěji?
Mezi trénovacími crawlery Bytespider (18,7 %) a CCBot (18,5 %), poté GPTBot (17,4 %). Mezi AI vyhledávacími crawlery se nejčastěji blokuje PerplexityBot, a to u 10,4 % domén.
Proč se čísla liší od vaší zprávy o 1 000 webech?
Prvních 1 000 domén dává téměř stejná procenta (28,6 % a 18,6 % oproti 29,9 % a 19,5 %). Čísla pro 10 000 webů jsou nižší, protože menší weby blokují méně.
Zdroje
- AISeeWhy: Zpráva o přístupu AI crawlerů, 2026-11
- Tranco: výzkumně orientovaný žebříček nejlepších webů
- RFC 9309: Robots Exclusion Protocol
- OpenAI: Přehled crawlerů OpenAI
- Anthropic: Stahuje Anthropic data z webu a jak mohou majitelé webů crawler zablokovat?
- Perplexity: Crawlery Perplexity