robots.txt-generator för AI-crawlers
Välj vilka AI-crawlers som får läsa din sajt och kopiera den genererade robots.txt. Ett vanligt val är att blockera AI-träningscrawlers som GPTBot och ClaudeBot men tillåta AI-sökcrawlers som OAI-SearchBot och PerplexityBot, så att dina sidor fortfarande kan visas och citeras i AI-svar.
Att blockera hämtare på användarens begäran har begränsad effekt: vissa leverantörer säger att de här agenterna kanske inte följer robots.txt, eftersom en person bad om sidan. Testa resultatet med robots.txt-kontrollen innan du publicerar det. robots.txt-kontroll för AI-crawlers →
Så använder du den
Lägg filen i roten av din domän (https://example.com/robots.txt). Om du redan har regler för andra crawlers, behåll dem och lägg bara till AI-grupperna. Ändringarna börjar gälla nästa gång varje crawler läser filen, oftast inom ett dygn.