robots.txt tester a kontrola pre AI crawlery

Zadajte adresu stránky: prečítame robots.txt webu a pre každý AI a vyhľadávací crawler ukážeme, či smie túto stránku stiahnuť. Alebo vložte robots.txt a otestujte ho pred zverejnením.

robots.txt je len žiadosť. Firewall alebo ochrana proti botom môže zablokovať aj crawler, ktorý robots.txt povoľuje; to testuje úplná kontrola. Spustiť úplnú kontrolu →

Rovnaká kontrola pre otvorenú stránku jedným kliknutím: Kontrola AI crawlerov ↗

Ako AI crawlery čítajú robots.txt

Každý crawler sa riadi skupinou, ktorá uvádza jeho token (napríklad GPTBot alebo PerplexityBot); len ak taká nie je, riadi sa User-agent: *. V rámci skupiny vyhráva najdlhšie zodpovedajúce pravidlo a pri rovnosti vyhráva Allow. Blokovanie tréningových crawlerov ako GPTBot, ClaudeBot alebo Google-Extended udrží váš obsah mimo trénovania modelov; blokovanie vyhľadávacích a používateľských crawlerov ako OAI-SearchBot, ChatGPT-User alebo PerplexityBot udrží vaše stránky mimo AI odpovedí.

Návod

Ako používať robots.txt tester

Tento text bol strojovo preložený z angličtiny.

Čo tento robots.txt tester kontroluje

Zadajte adresu stránky. Tester z nej vezme schému a hostiteľa, načíta /robots.txt z koreňa tohto hostiteľa a vyhodnotí jeho pravidlá pre cestu vašej stránky. Pre každý zo 16 crawlerov odpovie na jednu otázku: smie tento crawler túto stránku stiahnuť?

Crawlery sú zoskupené podľa toho, čo robia. Trénovacie crawlery zbierajú stránky pre AI modely: GPTBot, ClaudeBot, CCBot, Bytespider a Meta-ExternalAgent, k tomu tokeny Google-Extended a Applebot-Extended, ktoré existujú len v robots.txt: samy web nikdy nenavštívia, ale hovoria Googlu a Applu, či smú použiť stránky, ktoré už stiahli. Vyhľadávacie crawlery budujú indexy, z ktorých citujú odpovede AI aj výsledky vyhľadávania: OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot, Bingbot a Applebot. Používateľskí agenti stiahnu stránku, keď človek požiada asistenta, aby ju otvoril: ChatGPT-User, Claude-User a Perplexity-User.

Namiesto adresy môžete vložiť aj robots.txt. Vtedy sa nič nesťahuje: tester vyhodnotí vložený text, takže zmenu môžete vyskúšať ešte pred zverejnením. Vložený text slúži len na odpoveď a neukladá sa.

Ako čítať výsledky

Tabuľka má jeden riadok pre každý crawler. Stĺpec pre vašu cestu ukazuje Povolené alebo Zablokované. Posledný stĺpec hovorí, ktorá časť súboru rozhodla:

Pod tabuľkou vidíte riadky Sitemap, ktoré súbor uvádza, a jeho riadok Content-Signal, ak ho má. Ak adresa vrátila webovú stránku namiesto textového súboru alebo vôbec žiadny súbor, tester to povie: crawlery považujú HTML stránku na /robots.txt za chýbajúci súbor.

Riadok s výsledkom Povolené znamená len to, že robots.txt daný crawler nezastaví. Neznamená, že crawler stránku navštívi, a nehovorí nič o vašom firewalle.

Ako crawler vyberá svoje pravidlá

RFC 9309, štandard pre robots.txt, stanovuje tri pravidlá, ktoré vysvetľujú takmer každý prekvapivý výsledok. Crawler najprv hľadá skupiny, ktorých User-agent zodpovedá jeho tokenu, bez ohľadu na veľkosť písmen. Ak nejakú nájde, riadi sa len týmito skupinami a User-agent: * úplne ignoruje. Vo vybranej skupine vyhráva pravidlo s najdlhšou zodpovedajúcou cestou, a keď Allow a Disallow zodpovedajú rovnako dlhou cestou, vyhráva Allow.

User-agent: *
Disallow: /private/
Allow: /private/press/

User-agent: GPTBot
Disallow: /

S týmto súborom je GPTBot zablokovaný na všetkých stránkach, pretože má vlastnú skupinu. Každý iný crawler smie stiahnuť /private/press/kit.pdf, pretože Allow: /private/press/ je dlhšie ako Disallow: /private/, a na /private/notes/ je zablokovaný. Otestujte obe cesty v testeri a uvidíte, ako sa rozhodnutie presunie z jednej skupiny do druhej.

Časté chyby s príkladmi

Trénovacie, vyhľadávacie a používateľské crawlery: čo spôsobí zablokovanie každého z nich

Zablokovanie trénovacieho crawlera je rozhodnutie o zásadách. Udrží vaše stránky mimo budúceho trénovania modelov a nemá vplyv na to, či vás AI vyhľadávanie môže citovať dnes. Zablokovanie vyhľadávacieho crawlera, ako je OAI-SearchBot, Claude-SearchBot alebo PerplexityBot, udrží vaše stránky mimo odpovedí daného asistenta. Zablokovanie Googlebot alebo Bingbot vás odstráni z týchto vyhľadávačov aj z AI funkcií, ktoré na nich stoja.

Používateľskí agenti ako ChatGPT-User konajú za človeka, ktorý o vašu stránku požiadal. Niektorí prevádzkovatelia uvádzajú, že títo agenti sa pri takých požiadavkách nemusia riadiť robots.txt, takže pravidlo pre nich je žiadosť, nie záruka. Ak chcete trénovanie vypnúť a AI vyhľadávanie nechať zapnuté, zablokujte trénovacie tokeny a vyhľadávacie a používateľské tokeny nechajte tak.

Otestujte pred zverejnením a potom znova

Vložte svoj návrh do testera, zadajte cestu dôležitej stránky, napríklad produktovej stránky alebo cenníka, a prejdite riadok každého crawlera, na ktorom vám záleží. To isté zopakujte s cestou, ktorú ste chceli zablokovať. Keď výsledky zodpovedajú vášmu zámeru, zverejnite súbor a spustite tester znova so živou adresou: tým overíte, že server vracia súbor, ktorý ste upravili.

Crawlery si robots.txt ukladajú do vyrovnávacej pamäte; Google napríklad svoju kópiu zvyčajne obnoví do 24 hodín. Zmena sa môže v ich správaní prejaviť až o deň a prehľad robots.txt v Google Search Console ukazuje kópiu, ktorú Google stiahol naposledy.

Keď robots.txt crawler povoľuje, a ten je aj tak zablokovaný

robots.txt je len žiadosť. Firewall, služba ochrany proti botom alebo pravidlo CDN môže crawleru odpovedať kódom 403 alebo overovacou stránkou, zatiaľ čo ľudia stránku dostanú. Tester to nevidí, pretože číta len jeden súbor. Úplná kontrola stiahne vašu stránku s user agentom každého crawlera popri bežnom prehliadači a ukáže, ktorý crawler dostane inú odpoveď, vrátane stavového kódu HTTP a podpisu firewallu.

Časté otázky

Je to to isté ako robots.txt Tester od Google?

Nie. Google svoj samostatný robots.txt Tester v roku 2023 zrušil; prehľad robots.txt v Search Console teraz ukazuje súbor, ktorý Google stiahol, a prípadné chyby pri spracovaní, a to len pre crawlery Google. Tento tester uplatňuje rovnaké pravidlá RFC 9309 na 16 AI a vyhľadávacích crawlerov naraz.

Znamená Povolené, že crawler moju stránku prečíta alebo bude citovať?

Nie. Znamená, že robots.txt to nezakazuje. Či crawler stránku dostane, závisí od vášho servera a firewallu, a či ju asistent bude citovať, závisí od vášho obsahu a od položenej otázky.

Prečo crawler ukazuje „žiadne pravidlo“?

Váš súbor nemá skupinu pre jeho token ani skupinu User-agent: *, takže naň nič neplatí a každá cesta je povolená.

Môžem otestovať robots.txt, ktorý ešte nie je zverejnený?

Áno. Vložte text do druhého poľa a zadajte cestu na otestovanie. Z vášho webu sa nič nesťahuje a vložený text sa neukladá.

Posiela tester požiadavky ako GPTBot alebo iné crawlery?

Nie. Len prečíta váš robots.txt a uplatní pravidlá. Ak chcete vidieť, čo každý crawler od vášho servera naozaj dostane, spustite úplnú kontrolu.

Ako často ho môžem používať?

Je zadarmo a nepotrebuje účet. Aby zostal dostupný pre všetkých, môže každá sieť spustiť len obmedzený počet testov za hodinu.

Súvisiace nástroje a návody