Så kollar du om en webbplats blockerar AI-crawlers
Klistra in valfri adress och se om den blockerar GPTBot, ClaudeBot, PerplexityBot och de andra AI-crawlers: i robots.txt, i brandväggen eller i båda.
Gratis · Ingen registrering · Svar på 30 sekunder
Vilka crawlers som är blockerade
Crawlers för träning, sökning och användarförfrågningar visas var för sig, eftersom en blockering av GPTBot inte blockerar OAI-SearchBot, och en blockering av ClaudeBot inte blockerar Claude-SearchBot.
Raden som avgör
För varje crawler läses robots.txt enligt RFC 9309: gruppen som nämner den, eller User-agent: * som reserv, och regeln som vinner.
Brandväggens nekanden
Sidan hämtas som 14 crawlers och som en vanlig webbläsare. Blockeringar och utmaningssidor flaggas, och brandväggen som svarade namnges.
En åtgärd för varje fynd
Varje fynd kommer med den ändring du ska göra. Den kostnadsfria kontrollen visar ditt betyg och det första fyndet. Hela rapporten kostar $29, en gång.
En webbplats kan blockera AI-crawlers på två ställen: i robots.txt, som ber crawlers att hålla sig borta, och i servern eller brandväggen, som faktiskt nekar dem. Läs robots.txt efter varje crawlers token, med User-agent: * som reserv, och hämta sedan sidan som crawlern och jämför med en webbläsare. Ett webbläsartillägg gör robots.txt-delen för 16 AI-crawlers med ett klick.
Kolla själv i 3 steg
- Välj crawler
Varje AI-företag kör flera olika. Träning:
GPTBot,ClaudeBot. Sökning:OAI-SearchBot,Claude-SearchBot,PerplexityBot. På en persons begäran:ChatGPT-User,Claude-User,Perplexity-User. - Läs robots.txt för den
Öppna
https://example.com/robots.txtoch leta upp gruppen som nämner crawlern. Om ingen grupp gör det gäller gruppenUser-agent: *. Finns ingen av dem är allt tillåtet. - Hämta sidan som crawlern
Hämta sidan med crawlerns user agent och jämför status och storlek med webbläsarens. En 403, en utmaningssida eller en mycket mindre 200 betyder att brandväggen nekar den.
Vanliga frågor
Är en webbplats utan robots.txt öppen för AI-crawlers?
Ja, vad gäller robots.txt. Ett 404 för robots.txt betyder att det inte finns några regler, så varje crawler får hämta varje sida. En brandvägg kan ändå blockera crawlers.
Visar tillägget blockeringar i brandväggen?
Nej. Det läser robots.txt från din webbläsare, vilket visar vad webbplatsen ber crawlers att göra. Blockeringar i brandvägg och botskydd kräver en begäran som skickas som crawlern, och det gör den fullständiga kontrollen på aiseewhy.com.
Kan jag kolla en webbplats som inte är min?
Ja. robots.txt är offentlig, och tillägget läser bara filerna robots.txt och llms.txt som webbplatsen publicerar, samma filer som varje crawler läser.
Läs hela guiden
Oavsett om du kontrollerar din egen webbplats efter en ändring eller tittar på någon annans innan du förlitar dig på den, har frågan ”blockerar den här webbplatsen AI-crawlers?” ett exakt svar. Det beror på vilken crawler du menar, eftersom AI-företagen kör separata crawlers för träning, för sök och för direkta besök, och en webbplats kan behandla var och en på olika sätt. Den här guiden visar tre kontroller, från den snabbaste till den mest fullständiga.
Var kan en webbplats blockera AI-crawlers
Det finns tre lager, och en crawler måste ta sig igenom alla tre för att kunna använda en sida.
- robots.txt: en offentlig fil med regler som välartade crawlers läser innan de hämtar något. Den är en begäran, inget lås.
- Servern, CDN:en eller brandväggen: den avgör vad som faktiskt skickas tillbaka. En regel i botskyddet kan svara en crawler med en 403, en 429 eller en utmaningssida även när robots.txt tillåter den.
- Själva sidan: om huvudtexten visas först när JavaScript har körts får en crawler som läser den första HTML-koden en nästan tom sida, trots att inget blockerade den.
De flesta snabba kontroller tittar bara på det första lagret. Det är en bra början, så länge du kommer ihåg de andra två.
Hur läser jag robots.txt för en AI-crawler
Öppna https://example.com/robots.txt i en webbläsare och leta upp den grupp som gäller för crawlern. En grupp börjar med en eller flera User-agent-rader. Crawlern använder gruppen som nämner dess token, till exempel GPTBot; matchningen är skiftlägesokänslig. Om ingen grupp nämner den använder den gruppen User-agent: *. Finns ingen av dem är allt tillåtet.
Inom gruppen vinner regeln med den längsta matchande sökvägen, och när en Allow och en Disallow är lika långa vinner Allow. Filen nedan blockerar alltså GPTBot från hela webbplatsen men släpper in alla andra crawlers:
User-agent: GPTBot
Disallow: /
User-agent: *
Allow: / Titta också på hur filen svarar. Enligt RFC 9309 betyder ett 404 att det inte finns några regler, så allt är tillåtet. Ett serverfel (5xx) eller inget svar alls betyder att en crawler måste behandla hela webbplatsen som förbjuden. En robots.txt-adress som returnerar en HTML-sida är ett vanligt misstag: crawlers hittar inga giltiga regler i den.
Hur kollar jag alla AI-crawlers på en gång
Att läsa filen för hand går långsamt så fort du bryr dig om mer än en crawler. Varje AI-företag kör flera, med olika uppgifter:
- Träningscrawlers samlar in innehåll för modellträning:
GPTBot,ClaudeBot,CCBot,Bytespider,meta-externalagent, plus tokenGoogle-ExtendedochApplebot-Extended, som bara finns i robots.txt. - Sökcrawlers indexerar sidor så att AI-svar kan citera dem:
OAI-SearchBot,Claude-SearchBot,PerplexityBot. - Användarcrawlers hämtar en sida när en person ber assistenten om det:
ChatGPT-User,Claude-User,Perplexity-User.
Det kostnadsfria Chrome-tillägget Kontroll av AI-crawlers gör det här med ett klick. Öppna valfri sida, klicka på ikonen, så läser det webbplatsens robots.txt och visar för var och en av 16 crawlers om sidan är tillåten och vilken rad som avgör det. Det visar också Content-Signal-preferenser, om webbplatsen har en llms.txt och vilka sitemaps som anges i robots.txt. Det körs i din webbläsare, kräver inget konto och läser bara den webbplats du klickar på.
Utan Chrome ger den kostnadsfria robots.txt-kontrollen på aiseewhy.com samma svar för en URL du klistrar in.
Hur kollar jag om brandväggen släpper igenom dem
robots.txt visar vad webbplatsen ber om. För att se vad en crawler faktiskt får begär du sidan två gånger, en gång som webbläsare och en gång med crawlerns user agent, och jämför statuskoden och svarets storlek:
# As a browser
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
-A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
https://example.com/page
# As OAI-SearchBot
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
-A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
https://example.com/page Om webbläsaren får 200 och crawlern får 403, 429 eller 503, eller en mycket mindre sida, behandlar en brandvägg eller ett botskydd crawlern annorlunda. En begränsning gäller alla tester utifrån: de kommer från ditt nätverk, inte från AI-företagets. En brandvägg som litar på crawlers utifrån deras publicerade IP-adresser kan behandla den riktiga crawlern annorlunda, så det är dina serverloggar som har sista ordet.
Den fullständiga kontrollen på aiseewhy.com hämtar sidan som alla 16 crawlers bredvid en riktig webbläsare, namnger brandväggen eller regeln som blockerar en crawler och jämför texten som var och en fick.
Vilket resultat ska jag sikta på
Det beror på vad du vill. Vill du bli citerad i ChatGPT-sök, Claude och Perplexity måste sök- och användarcrawlers vara tillåtna i robots.txt och få den riktiga sidan från servern. Vill du inte att ditt innehåll används för träning blockerar du bara träningstoken. Det är separata val: att blockera GPTBot blockerar inte OAI-SearchBot, och att blockera ClaudeBot blockerar inte Claude-SearchBot.
Många webbplatser blandar ihop dem. I vår rapport från november 2026 om de 1 000 mest populära domänerna blockerar 63 % av webbplatserna som blockerar en träningscrawler också minst en AI-sökcrawler eller användarcrawler, vilket håller deras sidor borta från de AI-svaren.
Nästa steg
- robots.txt-testare och kontroll för AI-crawlers
- llms.txt-kontroll och validering
- Se ett exempel på en fullständig rapport
- Bevakning av AI-crawlers
- Planer och priser
Crawlers i den här artikeln
Källor
- RFC 9309: Robots Exclusion Protocol
- OpenAI: Overview of OpenAI crawlers
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Perplexity: Perplexity crawlers
- Google: Common crawlers, including Google-Extended
- AISeeWhy: AI Crawler Access Report, 2026-11