Vi læste robots.txt på de 10.000 mest populære sites. Her er, hvad de gør ved AI-crawlere

Udgivet

Kort svar

Af de 6.192 domæner i Tranco-top 10.000, der leverer en robots.txt, blokerer 23,2% mindst én AI-træningscrawler, og 12,3% blokerer mindst én AI-søge- eller brugercrawler. 51,6% af de sites, der blokerer træning, blokerer også AI-søgning. Kun 11,2% fravælger træning og tillader samtidig alle AI-søgecrawlere.

I november læste vi robots.txt for de 1.000 mest populære domæner. Denne gang har vi læst 10.000 med samme metode og tilføjet en kontrol af, hvordan billedet ændrer sig, når sites bliver mindre. Hovedresultatet holder: Blokering af træning og blokering af søgning behandles som én beslutning, selvom der er tale om to.

På denne side
  1. Hvordan målte vi det?
  2. Hvad fandt vi?
  3. Hvilke crawlere bliver blokeret oftest?
  4. Blokerer større sites mere?
  5. Er noget ændret siden vores rapport fra 12. november?
  6. Hvad betyder det for din robots.txt?
  7. Hvor pålidelige er tallene?

Hvordan målte vi det?

Vi tog de 10.000 øverste domæner på Tranco-listen (liste-ID JZWZY) og hentede hvert domæne's forside, robots.txt og llms.txt én gang den 21. november 2026 med AISeeWhys eget user agent. Vi vurderede hver robots.txt efter RFC 9309 for forsiden (/) og for 16 AI- og søgecrawlere.

6.192 af de 10.000 domæner leverede en robots.txt (et vellykket svar, der ikke er en HTML-side). 1.121 svarede med en 4xx, hvilket betyder ingen regler og alle crawlere tilladt, og 2.687 leverede ingen (intet HTTPS-site, fejl, timeouts eller en HTML-side i stedet). Alle procenttal nedenfor er andele af de 6.192. Listen indeholder CDN'er og API'er, der ikke leverer et website.

Hvad fandt vi?

Hvilke crawlere bliver blokeret oftest?

Andel af de 6.192 domæner, hvis robots.txt forbyder forsiden for crawleren:

Blokerer større sites mere?

Ja, og de blander træning og søgning sammen oftere. Vi delte listen op efter rang:

Den selektive vej er sjælden uanset størrelse: 10,5%, 10,4% og 11,5% af domænerne i de tre grupper.

Er noget ændret siden vores rapport fra 12. november?

Vi kørte de første 1.000 domæner igen med den samme liste. Resultatet er stabilt inden for omkring ét procentpoint: 28,6% blokerer træning (29,9% den 12. november), 18,6% blokerer AI-søgning (19,5%), og 63,1% af dem, der blokerer træning, blokerer også AI-søgning (63,2%). Nævnerne afviger lidt (nu 560 domæner med en robots.txt, dengang 518), fordi denne kørsel følger et domænes omdirigering til dets hovedhost, før der hentes.

Hvad betyder det for din robots.txt?

De fleste AI-virksomheder dokumenterer separate crawlere til træning og til søgning og siger, at indstillingerne er uafhængige. Hvis du forbyder GPTBot, påvirker det ikke OAI-SearchBot, og hvis du forbyder ClaudeBot, påvirker det ikke Claude-SearchBot. Hvis du vil fravælge træning og stadig blive citeret, skal du blokere træningstokens og tillade søge- og brugertokens, og du skal gentage alle private stier i hver gruppe, fordi en navngivet gruppe ikke arver fra *.

Hvor pålidelige er tallene?

Det er robots.txt-regler for forsiden, læst af én parser på én dag. De måler ikke firewall-blokeringer, som kan afvise en crawler, som robots.txt tillader. De kan ikke vise, hvad hvert site havde til hensigt, og Tranco-listen indeholder domæner, der ikke leverer et website. En regel, der blokerer en søgecrawler, er ikke bevis på en fejl, kun på et valg, som ofte træffes uden at kende forskellen. Du må citere tallene med et link til denne side.

Gratis værktøjer

Næste skridt

Crawlere i denne artikel

Ofte stillede spørgsmål

Hvor stor en andel af populære sites blokerer AI-crawlere?

Blandt de 6.192 domæner i Tranco-top 10.000, der leverer en robots.txt, blokerer 23,2% mindst én AI-træningscrawler, og 12,3% blokerer mindst én AI-søge- eller brugercrawler.

Blokerer sites, der blokerer AI-træning, også AI-søgning?

Ofte. 51,6% af de sites, der blokerer en træningscrawler, blokerer også mindst én AI-søge- eller brugercrawler, selvom udbyderne dokumenterer dem som separate crawlere med uafhængige indstillinger.

Hvilken AI-crawler bliver blokeret oftest?

Blandt træningscrawlere Bytespider (18,7%) og CCBot (18,5%), derefter GPTBot (17,4%). Blandt AI-søgecrawlere bliver PerplexityBot blokeret oftest, på 10,4% af domænerne.

Hvorfor afviger tallene fra jeres rapport om 1.000 sites?

De første 1.000 domæner giver næsten de samme procenter (28,6% og 18,6% mod 29,9% og 19,5%). Tallene for 10.000 sites er lavere, fordi mindre sites blokerer mindre.

Kilder

Flere artikler