Hvordan tester jeg robots.txt-regler for en URL og en bestemt crawler?

Udgivet

Kort svar

For at teste en URL for én crawler skal du finde den gruppe, der nævner crawlerens token (eller User-agent: *, hvis ingen gør), samle alle Allow- og Disallow-regler i den, der matcher URL'ens sti, og anvende den længste; ved lighed vinder Allow. Du kan gøre det manuelt, med Googles open source-parser eller med et tjekværktøj, der viser en afgørelse pr. crawler. Googles gamle robots.txt-tester i Search Console findes ikke længere, og robots.txt-rapporten, der afløste den, viser, hvad Google har hentet, ikke en afgørelse for en URL.

En robots.txt-fil ser enkel ud, indtil du har brug for et sikkert svar: må GPTBot hente denne side, og må OAI-SearchBot? Svaret afhænger af, hvilken gruppe crawleren vælger, og hvilken regel i den gruppe der vinder, og begge trin er lette at tage fejl af. Her er, hvordan matchningen fungerer efter RFC 9309, fire gennemgåede eksempler og tre måder at teste en fil på selv.

På denne side
  1. Hvad skete der med robots.txt-testeren i Google Search Console?
  2. Hvordan afgør en crawler, om en URL er tilladt?
  3. Kan du gennemgå et eksempel på en robots.txt-test?
  4. Hvordan kører jeg Googles open source-parser til robots.txt?
  5. Kan jeg teste robots.txt med Pythons urllib.robotparser?
  6. Hvorfor består en robots.txt-test, mens crawleren stadig er blokeret?
  7. Hvordan tjekker jeg robots.txt for alle AI-crawlere på én gang?

Hvad skete der med robots.txt-testeren i Google Search Console?

I november 2023 tilføjede Google en robots.txt-rapport til Search Console og meddelte, at robots.txt-testeren ville blive udfaset. Rapporten ligger under Indstillinger og dækker kun Googles crawlere. Den viser:

Rapporten tager ikke imod en URL og svarer tilladt eller blokeret. For at tjekke én URL for Googlebot henviser Google til værktøjet URL-inspektion og til lokal test til sit open source-bibliotek til robots.txt. Ingen af dem fortæller dig noget om AI-crawlere som GPTBot eller ClaudeBot.

Hvordan afgør en crawler, om en URL er tilladt?

RFC 9309, Robots Exclusion Protocol, definerer matchningen. Google dokumenterer samme adfærd for sine crawlere.

Svarkoden for robots.txt betyder lige så meget som reglerne. Et 4xx-svar betyder, at crawleren må hente alt; Google behandler alle 4xx undtagen 429, som om der ikke fandtes nogen fil. Et 5xx-svar betyder, at crawleren skal gå ud fra, at hele websitet er forbudt. Google stopper crawling de første 12 timer og bruger derefter den sidste gode kopi i op til 30 dage. RFC 9309 kræver, at crawlere parser mindst 500 KiB, og Google ignorerer alt efter 500 KiB.

Kan du gennemgå et eksempel på en robots.txt-test?

Her er en lille robots.txt med en standardgruppe og to navngivne AI-crawlere:

User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$

Lighed er sjældnere, men følger samme logik. Googles dokumentation giver eksemplet allow: /folder og disallow: /folder for URL'en /folder/page: de er lige lange, så URL'en er tilladt.

Hvordan kører jeg Googles open source-parser til robots.txt?

Google offentliggør det C++-bibliotek, den bruger i produktion til at matche robots.txt-regler, med et lille kommandolinjeprogram til at teste én URL og én user agent mod en lokal fil. Med Bazel installeret:

git clone https://github.com/google/robotstxt.git robotstxt
cd robotstxt/
bazel build :robots_main
# arguments: local robots.txt file, crawler token, full URL
bazel run robots_main -- ~/robots.txt OAI-SearchBot https://example.com/files/report.pdf
# prints ALLOWED or DISALLOWED; exit code 0 means allowed, 1 means disallowed

Repositoriet dokumenterer også et build med CMake, der giver et program ved navn robots med de samme argumenter. Værktøjet parser og matcher kun; det henter ikke robots.txt, så gem den aktuelle fil først. Dets README bemærker også, at crawlerspecifik adfærd ud over parsing og matchning ikke er en del af biblioteket.

Kan jeg teste robots.txt med Pythons urllib.robotparser?

Pythons standardbibliotek indeholder en parser, der svarer tilladt eller blokeret for en user agent og en URL. Dette script tester eksemplet ovenfor:

from urllib.robotparser import RobotFileParser

# Paste the robots.txt you want to test, or fetch it yourself first
ROBOTS_TXT = """
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$
"""

tests = [
    ("Googlebot", "https://example.com/search/help/billing"),
    ("GPTBot", "https://example.com/blog/post"),
    ("OAI-SearchBot", "https://example.com/admin/settings"),
    ("OAI-SearchBot", "https://example.com/files/report.pdf"),
]

rp = RobotFileParser()
rp.parse(ROBOTS_TXT.splitlines())
for agent, url in tests:
    print(f"{agent:15} {url}  ->", "allowed" if rp.can_fetch(agent, url) else "blocked")

Tjek din Python-version, før du stoler på resultatet. Understøttelse af matchning efter RFC 9309 blev tilføjet til CPython i 2026 og kom første gang med i Python 3.13.14 og 3.14.5. Ældre udgaver, herunder hele 3.12 og tidligere, anvender den første matchende regel i filens rækkefølge, ikke den længste, og forstår ikke * eller $ i stier. På de versioner giver scriptet det omvendte resultat i første og fjerde test: Googlebot blokeret fra /search/help/billing og OAI-SearchBot tilladt at hente PDF'en.

To forskelle mere gælder for alle versioner. RobotFileParser.read() behandler et 401- eller 403-svar for robots.txt som forbud mod alt, mens RFC 9309 siger, at en 4xx betyder, at alt må hentes. Og read() henter filen med Pythons standard-user agent, som nogle firewalls blokerer, så en test kan melde blokeret af grunde, der intet har med dine regler at gøre. Hvis du selv henter filen og giver den til parse() som ovenfor, undgår du begge dele.

Hvorfor består en robots.txt-test, mens crawleren stadig er blokeret?

En tester besvarer ét spørgsmål: tillader reglerne denne URL? Flere ting ligger uden for det svar:

Hvordan tjekker jeg robots.txt for alle AI-crawlere på én gang?

Det gratis robots.txt-tjek fra AISeeWhy tager en sideadresse eller en indsat robots.txt og viser for hver AI- og søgecrawler, om siden må hentes. Den gratis robots.txt-generator skriver en fil ud fra dine valg, og det gratis tjek henter siden som 16 crawlere for at vise, om en firewall blokerer det, som robots.txt tillader.

Rettelser til dette problem

Gratis værktøjer

Næste skridt

Crawlere i denne artikel

Ofte stillede spørgsmål

Er der stadig en robots.txt-tester i Google Search Console?

Nej. Google erstattede den i november 2023 med robots.txt-rapporten, der viser de filer, Google har hentet, deres status og eventuelle fejl. For at tjekke, om Googlebot må crawle en bestemt URL, skal du bruge værktøjet URL-inspektion.

Tilsidesætter Allow Disallow i robots.txt?

Kun når Allow-reglen er længere eller præcis lige så lang. Reglen med den længste matchende sti vinder, uanset typen, og Allow vinder ved lighed.

Skelner robots.txt mellem store og små bogstaver?

Delvist. Værdien i User-agent matches uden hensyn til store og små bogstaver, så gptbot og GPTBot betegner den samme gruppe. Stier skelner mellem store og små bogstaver, så Disallow: /Private/ blokerer ikke /private/.

Hvad tjekker en robots.txt-validator?

En validator tjekker, at filen kan nås, leveres som tekst og er skrevet med gyldig syntaks. En tester går videre og giver en afgørelse for en bestemt URL og crawler. Du har som regel brug for begge, for en gyldig fil kan stadig blokere en side, du ville tillade.

Hvis en crawler har sin egen gruppe, følger den så stadig User-agent: *?

Nej. En navngiven gruppe erstatter gruppen * fuldstændigt for den crawler. Alle regler, du vil have til at gælde for alle, skal gentages i hver navngiven gruppe.

Kilder

Flere artikler