robots.txt-kontroll för AI-crawlers

Ange en sidadress: vi läser sajtens robots.txt och visar för varje AI- och sökcrawler om den får hämta sidan. Eller klistra in en robots.txt för att testa den innan du publicerar den.

robots.txt är bara en begäran. En brandvägg eller ett botskydd kan ändå blockera en crawler som robots.txt tillåter; den fullständiga kontrollen testar det. Kör den fullständiga kontrollen →

Hur AI-crawlers läser robots.txt

Varje crawler följer den grupp som nämner dess token (till exempel GPTBot eller PerplexityBot); bara om ingen gör det följer den User-agent: *. Inom en grupp vinner den längsta matchande regeln, och vid lika vinner Allow. Att blockera träningscrawlers som GPTBot, ClaudeBot eller Google-Extended håller ditt innehåll borta från modellträning; att blockera sök- och användarcrawlers som OAI-SearchBot, ChatGPT-User eller PerplexityBot håller dina sidor borta från AI-svar.