Ako zistiť, či web blokuje AI crawlery

Vložte ľubovoľnú adresu a zistite, či blokuje GPTBot, ClaudeBot, PerplexityBot a ďalšie AI crawlery: v robots.txt, vo firewalle, alebo v oboch.

Zadarmo · Bez registrácie · Výsledok za 30 sekúnd

Ktoré crawlery sú blokované

Tréningové, vyhľadávacie a používateľské crawlery sú zobrazené osobitne, pretože blokovanie GPTBot neblokuje OAI-SearchBot a blokovanie ClaudeBot neblokuje Claude-SearchBot.

Riadok, ktorý rozhoduje

Pre každý crawler sa robots.txt číta podľa pravidiel RFC 9309: skupina, ktorá ho uvádza, alebo ako záloha User-agent: *, a pravidlo, ktoré zvíťazí.

Odmietnutia firewallu

Stránka sa vyžiada ako 14 crawlerov a ako bežný prehliadač. Blokovania a overovacie stránky sa označia a firewall, ktorý odpovedal, sa pomenuje.

Oprava ku každému zisteniu

Ku každému zisteniu patrí zmena, ktorú treba urobiť. Bezplatná kontrola ukáže vaše skóre a prvé zistenie; úplná správa stojí $29, jednorazovo.

Krátka odpoveď

Web môže blokovať AI crawlery na dvoch miestach: v robots.txt, ktorý crawlery žiada, aby nechodili, a na serveri alebo vo firewalle, ktorý ich naozaj odmietne. V robots.txt nájdite skupinu pre token každého crawlera, a ak chýba, skupinu User-agent: *. Potom stiahnite stránku ako crawler a porovnajte ju s tým, čo dostane prehliadač. Rozšírenie prehliadača urobí časť s robots.txt pre 16 AI crawlerov jedným kliknutím.

Skontrolujte ručne v 3 krokoch

  1. Vyberte crawler

    Každá AI firma prevádzkuje viaceré. Tréningové: GPTBot, ClaudeBot. Vyhľadávacie: OAI-SearchBot, Claude-SearchBot, PerplexityBot. Na žiadosť človeka: ChatGPT-User, Claude-User, Perplexity-User.

  2. Prečítajte si preň robots.txt

    Otvorte https://example.com/robots.txt a nájdite skupinu, ktorá crawler uvádza. Ak ho neuvádza žiadna, platí skupina User-agent: *; ak nie je ani tá, všetko je povolené.

  3. Stiahnite stránku ako crawler

    Vyžiadajte stránku s user agentom crawlera a porovnajte stav a veľkosť s odpoveďou pre prehliadač. Kód 403, overovacia stránka alebo oveľa menšie 200 znamená, že ho firewall odmieta.

Časté otázky

Je web bez robots.txt otvorený pre AI crawlery?

Áno, pokiaľ ide o robots.txt. Odpoveď 404 pre robots.txt znamená, že pravidlá neexistujú, takže každý crawler smie stiahnuť každú stránku. Firewall však môže crawlery blokovať aj tak.

Ukazuje rozšírenie blokovanie firewallom?

Nie. Číta robots.txt z vášho prehliadača, čo ukazuje, o čo web crawlery žiada. Na blokovanie firewallom a ochranou proti botom treba požiadavku odoslanú ako crawler, a to robí úplná kontrola na aiseewhy.com.

Môžem skontrolovať web, ktorý nie je môj?

Áno. robots.txt je verejný a rozšírenie číta len súbory robots.txt a llms.txt, ktoré web zverejňuje, teda tie isté súbory, ktoré číta každý crawler.

Prečítajte si celého sprievodcu

Či kontrolujete vlastný web po zmene, alebo cudzí web predtým, než sa naň spoľahnete, otázka „blokuje tento web AI crawlery?“ má presnú odpoveď. Závisí od toho, ktorý crawler máte na mysli, pretože AI firmy prevádzkujú samostatné crawlery na trénovanie, na vyhľadávanie a na živé návštevy a web môže s každým z nich zaobchádzať inak. Tento návod ukazuje tri kontroly, od najrýchlejšej po najúplnejšiu.

Kde môže web blokovať AI crawlery?

Existujú tri vrstvy a crawler musí prejsť všetkými, aby mohol stránku použiť.

  • robots.txt: verejný súbor pravidiel, ktorý slušné crawlery čítajú skôr, než niečo stiahnu. Je to žiadosť, nie zámok.
  • Server, CDN alebo firewall: rozhoduje o tom, čo sa naozaj odošle späť. Pravidlo ochrany proti botom môže crawleru odpovedať kódom 403, 429 alebo overovacou stránkou, aj keď ho robots.txt povoľuje.
  • Samotná stránka: ak sa hlavný text objaví až po spustení JavaScriptu, crawler, ktorý číta počiatočné HTML, dostane takmer prázdnu stránku, hoci ho nič nezablokovalo.

Väčšina rýchlych kontrol sa pozerá len na prvú vrstvu. To je dobrý začiatok, ak nezabudnete na zvyšné dve.

Ako prečítať robots.txt pre jeden AI crawler?

Otvorte v prehliadači https://example.com/robots.txt a nájdite skupinu, ktorá na daný crawler platí. Skupina začína jedným alebo viacerými riadkami User-agent. Crawler použije skupinu, ktorá menuje jeho token, napríklad GPTBot; na veľkých a malých písmenách nezáleží. Ak ho žiadna skupina nemenuje, použije skupinu User-agent: *. Ak nie je ani jedna, povolené je všetko.

V rámci skupiny vyhráva pravidlo s najdlhšou zhodnou cestou, a keď sú Allow a Disallow rovnako dlhé, vyhráva Allow. Nasledujúci súbor teda zablokuje GPTBot na celom webe, ale všetky ostatné crawlery pustí:

User-agent: GPTBot
Disallow: /

User-agent: *
Allow: /

Všimnite si aj to, ako súbor odpovedá. Podľa RFC 9309 znamená 404, že pravidlá neexistujú, takže je povolené všetko. Chyba servera (5xx) alebo žiadna odpoveď znamená, že crawler musí celý web považovať za zakázaný. Častou chybou je adresa robots.txt, ktorá vracia HTML stránku: crawlery v nej nenájdu žiadne platné pravidlá.

Ako skontrolovať všetky AI crawlery naraz?

Ručné čítanie súboru je pomalé, keď vám záleží na viac ako jednom crawleri. Každá AI firma prevádzkuje niekoľko crawlerov s rôznymi úlohami:

  • Tréningové crawlery zbierajú obsah na trénovanie modelov: GPTBot, ClaudeBot, CCBot, Bytespider, meta-externalagent a k tomu tokeny Google-Extended a Applebot-Extended, ktoré sa objavujú len v robots.txt.
  • Vyhľadávacie crawlery indexujú stránky, aby ich AI odpovede mohli citovať: OAI-SearchBot, Claude-SearchBot, PerplexityBot.
  • Používateľské crawlery stiahnu stránku, keď o to asistenta požiada človek: ChatGPT-User, Claude-User, Perplexity-User.

Bezplatné rozšírenie Kontrola AI crawlerov pre Chrome to urobí jedným kliknutím. Otvorte ľubovoľnú stránku, kliknite na ikonu a rozšírenie prečíta robots.txt daného webu a pre každý zo 16 crawlerov ukáže, či je stránka povolená a ktorý riadok o tom rozhoduje. Ukáže aj preferencie Content-Signal, či má web súbor llms.txt, a sitemapy uvedené v robots.txt. Beží vo vašom prehliadači, nepotrebuje účet a číta len web, na ktorom naň kliknete.

Bez Chromu dá rovnakú odpoveď pre vloženú URL bezplatná kontrola robots.txt na aiseewhy.com.

Ako zistiť, či ich firewall pustí?

robots.txt ukazuje, o čo web žiada. Ak chcete vidieť, čo crawler naozaj dostane, vyžiadajte si stránku dvakrát, raz ako prehliadač a raz s user agentom crawlera, a porovnajte stavový kód a veľkosť odpovede:

# As a browser
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
  -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
  https://example.com/page

# As OAI-SearchBot
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
  -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
  https://example.com/page

Ak prehliadač dostane 200 a crawler 403, 429 alebo 503, prípadne oveľa menšiu stránku, firewall alebo ochrana proti botom zaobchádza s crawlerom inak. Každý test zvonka má jedno obmedzenie: prichádza z vašej siete, nie zo siete AI firmy. Firewall, ktorý crawlerom dôveruje podľa ich zverejnených IP adries, môže so skutočným crawlerom zaobchádzať inak, takže posledné slovo majú logy vášho servera.

Úplná kontrola na aiseewhy.com stiahne stránku ako všetkých 16 crawlerov popri skutočnom prehliadači, pomenuje firewall alebo pravidlo, ktoré crawler blokuje, a porovná text, ktorý každý z nich dostal.

K akému výsledku by ste mali smerovať?

Závisí to od toho, čo chcete. Ak chcete byť citovaní vo vyhľadávaní ChatGPT, v Claude a v Perplexity, vyhľadávacie a používateľské crawlery musia byť v robots.txt povolené a zo servera musia dostať skutočnú stránku. Ak nechcete, aby sa váš obsah používal na trénovanie, zablokujte len tréningové tokeny. Sú to samostatné rozhodnutia: zablokovanie GPTBot neblokuje OAI-SearchBot a zablokovanie ClaudeBot neblokuje Claude-SearchBot.

Mnohé weby si ich zamieňajú. V našej správe z novembra 2026 o 1 000 najpopulárnejších doménach 63 % webov, ktoré blokujú tréningový crawler, blokuje aj aspoň jeden AI vyhľadávací alebo používateľský crawler, a tým drží svoje stránky mimo týchto AI odpovedí.

Nástroje zadarmo

Ďalšie kroky

Crawlery v tomto článku

Zdroje

Ďalšie články

Publikované