Generátor robots.txt pre AI crawlery

Vyberte, ktoré AI crawlery smú čítať váš web, a skopírujte vygenerovaný robots.txt. Častou voľbou je zablokovať tréningové AI crawlery ako GPTBot a ClaudeBot, ale povoliť crawlery AI vyhľadávania ako OAI-SearchBot a PerplexityBot, aby sa vaše stránky naďalej mohli objavovať a byť citované v AI odpovediach.

Začať od
AI tréning
AI vyhľadávanie
Sťahovanie na žiadosť používateľa
Content-Signal (nepovinné): zaškrtnite, čo povoľujete

Blokovanie sťahovania na žiadosť používateľa má obmedzený účinok: niektorí prevádzkovatelia uvádzajú, že tieto agenty nemusia dodržiavať robots.txt, pretože o stránku požiadal človek. Pred zverejnením výsledok otestujte nástrojom na kontrolu robots.txt. robots.txt tester a kontrola pre AI crawlery →

Ako ho použiť

Umiestnite súbor do koreňa svojej domény (https://example.com/robots.txt). Ak už máte pravidlá pre iné crawlery, ponechajte ich a pridajte len skupiny pre AI. Zmeny sa prejavia, keď si každý crawler súbor znova prečíta, zvyčajne do jedného dňa.

Spustiť úplnú kontrolu →

Návod

Ako používať generátor robots.txt

Tento text bol strojovo preložený z angličtiny.

Čo generátor vytvorí

Zaškrtnite crawlery, ktoré smú čítať váš web, a odškrtnite tie, ktoré chcete zablokovať. Generátor napíše robots.txt s jednou skupinou pre každý zablokovaný crawler, User-agent: <token> nasledovaný Disallow: /, a na konci skupinu User-agent: *, ktorá povoľuje všetko ostatné. Ak pridáte adresu sitemapy, doplní riadok Sitemap. Ak zaškrtnete voľby Content-Signal, doplní riadok Content-Signal, ktorý uvádza, ako sa smie váš obsah používať.

Nič neopúšťa váš prehliadač: súbor sa zostavuje priamo na stránke, ako klikáte, a skopírujete ho z výstupného poľa.

Z ktorej predvoľby začať

Príklad: blokovať trénovanie, povoliť AI vyhľadávanie

Každý zablokovaný crawler má vlastnú skupinu, takže jeho Disallow: / platí len preň. Všetky ostatné crawlery, vrátane OAI-SearchBot a Googlebot, prepadnú do User-agent: * a smú čítať všetko. Riadok Content-Signal opakuje rovnaký zámer pre crawlery, ktoré ho čítajú: vyhľadávanie a odpovede v reálnom čase áno, trénovanie nie.

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /

Sitemap: https://example.com/sitemap.xml

Pred zverejnením

Časté chyby

Časté otázky

Odstráni zablokovanie GPTBot môj web z ChatGPT?

Nie. GPTBot zbiera dáta na trénovanie. Vyhľadávanie ChatGPT používa OAI-SearchBot a ChatGPT-User otvára stránky, o ktoré ľudia požiadajú. Ak chcete byť citovaní, nechajte ich povolené.

Čo je Content-Signal?

Riadok v robots.txt, ktorý uvádza, ako sa smie váš obsah používať: search, ai-input (odpovede v reálnom čase) a ai-train (trénovanie), každé áno alebo nie. Podpora sa u jednotlivých prevádzkovateľov líši; pravidlom, ktorým sa crawlery riadia, zostávajú skupiny pre konkrétne crawlery.

Ovplyvňuje Google-Extended Vyhľadávanie Google?

Nie. Je to token len pre robots.txt, ktorý určuje, či smie Google používať vaše stránky pre svoje AI modely; nemení prehľadávanie ani poradie vo Vyhľadávaní Google.

Posiela sa moja voľba niekam?

Nie. Generátor beží vo vašom prehliadači a na náš server sa nič neposiela, kým sa nerozhodnete súbor otestovať.

Súvisiace nástroje a návody