Kontrola robots.txt pro AI crawlery

Zadejte adresu stránky: přečteme robots.txt webu a u každého AI a vyhledávacího crawleru ukážeme, zda smí tuto stránku stáhnout. Nebo vložte robots.txt a otestujte ho před zveřejněním.

robots.txt je jen žádost. Firewall nebo ochrana proti botům může crawler, kterého robots.txt povoluje, přesto zablokovat; úplná kontrola to otestuje. Spustit úplnou kontrolu →

Jak AI crawlery čtou robots.txt

Každý crawler se řídí skupinou, která uvádí jeho token (například GPTBot nebo PerplexityBot); jen pokud žádná takovou není, řídí se User-agent: *. V rámci skupiny vyhrává nejdelší odpovídající pravidlo a při shodě vyhrává Allow. Zablokováním tréninkových crawlerů jako GPTBot, ClaudeBot nebo Google-Extended udržíte svůj obsah mimo trénink modelů; zablokováním vyhledávacích a uživatelských crawlerů jako OAI-SearchBot, ChatGPT-User nebo PerplexityBot udržíte své stránky mimo odpovědi AI.