Vyberte, ktoré AI crawlery smú čítať váš web, a skopírujte vygenerovaný robots.txt. Častou voľbou je zablokovať tréningové AI crawlery ako GPTBot a ClaudeBot, ale povoliť crawlery AI vyhľadávania ako OAI-SearchBot a PerplexityBot, aby sa vaše stránky naďalej mohli objavovať a byť citované v AI odpovediach.
Blokovanie sťahovania na žiadosť používateľa má obmedzený účinok: niektorí prevádzkovatelia uvádzajú, že tieto agenty nemusia dodržiavať robots.txt, pretože o stránku požiadal človek. Pred zverejnením výsledok otestujte nástrojom na kontrolu robots.txt. robots.txt tester a kontrola pre AI crawlery →
Ako ho použiť
Umiestnite súbor do koreňa svojej domény (https://example.com/robots.txt). Ak už máte pravidlá pre iné crawlery, ponechajte ich a pridajte len skupiny pre AI. Zmeny sa prejavia, keď si každý crawler súbor znova prečíta, zvyčajne do jedného dňa.
Zaškrtnite crawlery, ktoré smú čítať váš web, a odškrtnite tie, ktoré chcete zablokovať. Generátor napíše robots.txt s jednou skupinou pre každý zablokovaný crawler, User-agent: <token> nasledovaný Disallow: /, a na konci skupinu User-agent: *, ktorá povoľuje všetko ostatné. Ak pridáte adresu sitemapy, doplní riadok Sitemap. Ak zaškrtnete voľby Content-Signal, doplní riadok Content-Signal, ktorý uvádza, ako sa smie váš obsah používať.
Nič neopúšťa váš prehliadač: súbor sa zostavuje priamo na stránke, ako klikáte, a skopírujete ho z výstupného poľa.
Z ktorej predvoľby začať
Povoliť všetko: každý crawler smie čítať každú stránku. Správna voľba pre väčšinu webov, ktoré chcú byť nájdené a citované.
Blokovať trénovanie, povoliť AI vyhľadávanie: trénovacie crawlery ako GPTBot, ClaudeBot, CCBot a Google-Extended sú zablokované; vyhľadávacie a používateľské crawlery ako OAI-SearchBot, Claude-SearchBot, PerplexityBot a ChatGPT-User zostávajú povolené. Vaše stránky sa v odpovediach AI môžu ďalej objavovať a byť citované.
Blokovať všetky AI crawlery: každý AI crawler v zozname je zablokovaný. Tieto crawlery vaše stránky pre odpovede AI nestiahnu, čo zvyčajne znamená menej citácií a menej návštevnosti od asistentov.
Príklad: blokovať trénovanie, povoliť AI vyhľadávanie
Každý zablokovaný crawler má vlastnú skupinu, takže jeho Disallow: / platí len preň. Všetky ostatné crawlery, vrátane OAI-SearchBot a Googlebot, prepadnú do User-agent: * a smú čítať všetko. Riadok Content-Signal opakuje rovnaký zámer pre crawlery, ktoré ho čítajú: vyhľadávanie a odpovede v reálnom čase áno, trénovanie nie.
Zlučujte, nenahrádzajte. Ak váš súčasný robots.txt obsahuje pravidlá pre administráciu, košíky alebo stránky vyhľadávania, skopírujte ich do skupiny User-agent: * nového súboru, inak tieto oblasti otvoríte všetkým crawlerom.
Umiestnite súbor do koreňa každého hostiteľa: https://example.com/robots.txt. Subdoména potrebuje vlastný súbor.
Poskytujte ho ako obyčajný text so stavovým kódom 200. HTML stránka alebo chyba na tejto adrese ako robots.txt nefunguje.
Vložte výsledok do robots.txt testera a skontrolujte niekoľko skutočných ciest pre crawlery, na ktorých vám záleží.
Pamätajte, že robots.txt je žiadosť. Ak firewall blokuje crawler, ktorý povoľujete, súbor to nevyrieši; úplná kontrola to ukáže.
Časté chyby
Blokovanie OAI-SearchBot alebo PerplexityBot s cieľom zastaviť trénovanie. Sú to vyhľadávacie crawlery; ich zablokovanie vás odstráni z odpovedí.
Niekoľko riadkov User-agent nad jedným Disallow: /, keď ste chceli zablokovať len jeden z nich: riadky pod sebou tvoria jednu skupinu.
Očakávanie, že sa fetchery spúšťané používateľom, ako ChatGPT-User, budú blokom riadiť. Niektorí prevádzkovatelia uvádzajú, že títo agenti sa nemusia riadiť robots.txt, keď o stránku požiadal človek.
Pridávanie riadkov Crawl-delay alebo Noindex. Nie sú súčasťou RFC 9309 a Google oboje ignoruje.
Časté otázky
Odstráni zablokovanie GPTBot môj web z ChatGPT?
Nie. GPTBot zbiera dáta na trénovanie. Vyhľadávanie ChatGPT používa OAI-SearchBot a ChatGPT-User otvára stránky, o ktoré ľudia požiadajú. Ak chcete byť citovaní, nechajte ich povolené.
Čo je Content-Signal?
Riadok v robots.txt, ktorý uvádza, ako sa smie váš obsah používať: search, ai-input (odpovede v reálnom čase) a ai-train (trénovanie), každé áno alebo nie. Podpora sa u jednotlivých prevádzkovateľov líši; pravidlom, ktorým sa crawlery riadia, zostávajú skupiny pre konkrétne crawlery.
Ovplyvňuje Google-Extended Vyhľadávanie Google?
Nie. Je to token len pre robots.txt, ktorý určuje, či smie Google používať vaše stránky pre svoje AI modely; nemení prehľadávanie ani poradie vo Vyhľadávaní Google.
Posiela sa moja voľba niekam?
Nie. Generátor beží vo vašom prehliadači a na náš server sa nič neposiela, kým sa nerozhodnete súbor otestovať.