Štyri z desiatich firemných webov odmietajú AI crawlery
V našich auditoch 165 firemných webov v USA, Británii a Francúzsku 38% odmietlo na úrovni servera aspoň jeden AI crawler, takmer vždy tréningového alebo scraper bota. Asi každý desiaty web odmietol aj AI vyhľadávací crawler, napríklad PerplexityBot alebo OAI-SearchBot, teda crawlery, ktoré môžu viesť k citácii. Svoj web si overíte jednou požiadavkou na každý crawler.
Spýtate sa ChatGPT na vlastný produkt a ten uvedie konkurenta, recenzný web a vlákno z fóra. Niekedy je to otázka obsahu. Často je to firewall, ktorý AI crawlerom odpovedá nie, čo nikto z vášho tímu nikdy nevidel, lebo web v prehliadači funguje.
Na tejto stránke
Čo sme testovali?
Z tej istej adresy si stránku vyžiadame viackrát: raz ako obyčajný prehliadač a potom raz ako každý zo 14 AI a vyhľadávacích crawlerov, vrátane GPTBot, OAI-SearchBot a ChatGPT-User od OpenAI, ClaudeBot a Claude-SearchBot od Anthropic a PerplexityBot od Perplexity. Ak prehliadač stránku dostane a crawler dostane 401, 403, 406, 429, 451, 503 alebo challenge stránku, web tento crawler odmieta.
Vzorku tvorí 218 firemných webov v USA, Británii a Francúzsku, auditovaných od 18. do 21. novembra 2026. Úplný test sme mohli spustiť na 165. Ostatných 53 odmietlo aj našu obyčajnú požiadavku z prehliadača alebo neodpovedalo, preto sme ich vynechali namiesto hádania.
Čo sme zistili?
- 38% testovateľných webov (63 zo 165) odmietlo aspoň jeden AI crawler.
- Každý z týchto webov odmietol aspoň jeden tréningový alebo scraper crawler.
Bytespiderodmietlo 35% všetkých webov,ClaudeBot13% aGPTBot11%. - 10% webov (16) odmietlo aj aspoň jeden AI vyhľadávací crawler a 5% (8) odmietlo crawler, ktorý otvorí stránku naživo, keď sa človek asistenta na ňu opýta.
- Najdôležitejšie vyhľadávacie crawlery boli
PerplexityBot(11 webov) aOAI-SearchBot(5 webov). - Za 32 z 66 webov, ktoré odmietli niektorý z testovaných crawlerov, stál Cloudflare. Pri ďalších 30 sme nedokázali určiť, ktorý firewall odpovedal.
Prečo sa to deje a kedy je to voľba?
Veľa z toho je pravdepodobne zámerné. Mnohí majitelia nechcú, aby sa ich obsah používal na trénovanie modelov, a nastavenia ochrany pred botmi, ktoré blokujú scrapery, sa dajú ľahko zapnúť. Je to legitímne rozhodnutie.
Problém je, že AI firmy prevádzkujú oddelené crawlery na tréning a na vyhľadávanie. Zablokovanie tréningového crawlera si nevyžaduje zablokovať aj vyhľadávací, a práve vyhľadávací crawler môže viesť k tomu, že vašu stránku odpoveď ocituje.
Darí sa najväčším webom lepšie?
Nie celkom. V našom robots.txt reporte o 1 000 najpopulárnejších doménach 29,9% webov s robots.txt blokuje aspoň jeden AI tréningový crawler a 63,2% z nich blokuje aj aspoň jeden AI vyhľadávací alebo používateľský crawler. Iba 11,0% blokuje tréning a zároveň povoľuje všetky AI vyhľadávacie crawlery, čo je nastavenie, ktoré väčšina z nich pravdepodobne chcela.
Ako si svoj web skontrolujem za desať minút?
- Otvorte
yoursite.com/robots.txt. Pri každom AI crawleri, na ktorom vám záleží, skontrolujte, či ho niektorá skupina pomenúva a čo hovorí. Skupina, ktorá crawler pomenúva, úplne nahrádza všeobecnú skupinu*. - Testujte, čo robí server, nie čo hovorí súbor. Vyžiadajte si kľúčovú stránku ako prehliadač a ako crawler. Kód 403, 429, stránka s titulkom
Just a moment...alebo odpoveď oveľa menšia než tá pre prehliadač je typický znak blokovania firewallom. - Opýtajte sa asistenta. So zapnutým vyhľadávaním sa opýtajte ChatGPT alebo Perplexity na otázky, ktoré kladú vaši kupujúci, a pozrite sa, ktoré weby cituje. Ak je prístup v poriadku a stále chýbate, problém je v obsahu, nie v prístupe.
Nakoľko spoľahlivé sú tieto čísla?
Berte ich ako vzorec, nie ako sčítanie. Vzorka nie je náhodná: sú to firmy nájdené cez reklamné knižnice, portály s pracovnými ponukami a záznamy na mapách. Testujeme podľa user agenta z jednej adresy, kým skutočné crawlery chodia z adries, ktoré zverejňujú ich prevádzkovatelia, takže niektoré firewally by so skutočnými zaobchádzali inak. A blokovanie nie je vždy chyba.
Ďalšie kroky
- robots.txt tester a kontrola pre AI crawlery
- Pozrite si ukážku úplnej správy
- Monitoring AI crawlerov
- Plány a ceny
Crawlery v tomto článku
Časté otázky
Aký podiel webov blokuje AI crawlery?
V našom audite 165 testovateľných firemných webov 38% odmietlo na úrovni servera aspoň jeden AI crawler, väčšinou tréningových a scraper botov. Asi 10% odmietlo aj AI vyhľadávací crawler.
Znamená zablokovanie GPTBot, že sa môj web nezobrazí vo vyhľadávaní ChatGPT?
Nie. OpenAI uvádza, že každé nastavenie robots.txt pre jeho crawlery je nezávislé: GPTBot sa týka tréningu, OAI-SearchBot vyhľadávania v ChatGPT. Zablokovanie jedného neblokuje druhý.
Ako môže web zablokovať crawler bez robots.txt?
Firewall, CDN alebo pravidlo ochrany pred botmi môže crawleru odpovedať kódom 403, 429 alebo challenge stránkou. robots.txt to nikdy neukáže, preto to treba otestovať vyžiadaním stránky ako crawler.
Je odmietnutie crawlera vždy chyba?
Nie. Mnohí majitelia chcú tréningové crawlery a scrapery držať mimo. Chybou je blokovať vyhľadávacie crawlery omylom, lebo práve tie môžu vašu stránku citovať.
Zdroje
- AISeeWhy: Správa o prístupe AI crawlerov, 2026-11
- RFC 9309: Robots Exclusion Protocol
- OpenAI: Prehľad crawlerov OpenAI
- Perplexity: Crawlery Perplexity
- Cloudflare: Správa AI crawlerov (AI Crawl Control)