Generátor robots.txt pro AI crawlery
Vyberte, které AI crawlery smějí číst váš web, a zkopírujte vygenerovaný robots.txt. Běžná volba je blokovat trénovací AI crawlery jako GPTBot a ClaudeBot, ale povolit AI vyhledávací crawlery jako OAI-SearchBot a PerplexityBot, aby se vaše stránky mohly dál objevovat a být citovány v AI odpovědích.
Blokování stahování na žádost uživatele má omezený účinek: někteří dodavatelé uvádějí, že tito agenti nemusejí robots.txt dodržovat, protože stránku požadoval člověk. Výsledek otestujte kontrolou robots.txt, než ho zveřejníte. Kontrola robots.txt pro AI crawlery →
Jak ho použít
Umístěte soubor do kořene své domény (https://example.com/robots.txt). Pokud už máte pravidla pro jiné crawlery, ponechte je a přidejte jen skupiny pro AI. Změny se projeví, když každý crawler soubor příště přečte, obvykle do jednoho dne.