Hvordan tester jeg robots.txt-regler for en URL og en bestemt crawler?

Publisert

Kort svar

For å teste en URL for én crawler finner du gruppen som nevner crawlerens token (eller User-agent: * hvis ingen gjør det), samler alle Allow- og Disallow-regler i den som passer til URL-banen, og bruker den lengste; ved likhet vinner Allow. Du kan gjøre dette for hånd, med Googles parser med åpen kildekode eller med en sjekk som gir et svar per crawler. Googles gamle robots.txt-tester i Search Console er borte, og robots.txt-rapporten som erstattet den, viser hva Google hentet, ikke et svar for en URL.

En robots.txt-fil ser enkel ut til du trenger et sikkert svar: kan GPTBot hente denne siden, og kan OAI-SearchBot? Svaret avhenger av hvilken gruppe crawleren velger og hvilken regel i den gruppen som vinner, og begge stegene er lette å ta feil av. Her er hvordan samsvaret fungerer etter RFC 9309, fire gjennomgåtte eksempler og tre måter å teste en fil selv på.

På denne siden
  1. Hva skjedde med robots.txt-testeren i Google Search Console?
  2. Hvordan avgjør en crawler om en URL er tillatt?
  3. Kan du gå gjennom et eksempel på en robots.txt-test?
  4. Hvordan kjører jeg Googles robots.txt-parser med åpen kildekode?
  5. Kan jeg teste robots.txt med Pythons urllib.robotparser?
  6. Hvorfor består en robots.txt-test mens crawleren fortsatt er blokkert?
  7. Hvordan sjekker jeg robots.txt for alle AI-crawlere samtidig?

Hva skjedde med robots.txt-testeren i Google Search Console?

I november 2023 la Google til en robots.txt-rapport i Search Console og sa at robots.txt-testeren skulle fases ut. Rapporten ligger under Innstillinger og dekker bare Googles crawlere. Den viser:

Rapporten tar ikke imot en URL og svarer tillatt eller blokkert. For å sjekke én URL for Googlebot viser Google til verktøyet for URL-inspeksjon, og for lokal testing til robots.txt-biblioteket sitt med åpen kildekode. Ingen av dem sier noe om AI-crawlere som GPTBot eller ClaudeBot.

Hvordan avgjør en crawler om en URL er tillatt?

RFC 9309, Robots Exclusion Protocol, definerer samsvaret. Google dokumenterer samme oppførsel for sine crawlere.

Svarkoden for robots.txt betyr like mye som reglene. Et 4xx-svar betyr at crawleren kan hente alt; Google behandler alle 4xx unntatt 429 som om det ikke fantes noen fil. Et 5xx-svar betyr at crawleren må anta at hele nettstedet er blokkert. Google stopper gjennomsøkingen de første 12 timene og bruker deretter den siste gode kopien i opptil 30 dager. RFC 9309 krever at crawlere leser minst 500 KiB, og Google ignorerer alt etter 500 KiB.

Kan du gå gjennom et eksempel på en robots.txt-test?

Her er en liten robots.txt med en standardgruppe og to navngitte AI-crawlere:

User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$

Uavgjort er sjeldnere, men følger samme logikk. Googles dokumentasjon gir eksemplet allow: /folder og disallow: /folder for URL-en /folder/page: begge er like lange, så URL-en er tillatt.

Hvordan kjører jeg Googles robots.txt-parser med åpen kildekode?

Google publiserer C++-biblioteket det bruker i produksjon for å matche robots.txt-regler, med et lite kommandolinjeprogram for å teste én URL og én user agent mot en lokal fil. Med Bazel installert:

git clone https://github.com/google/robotstxt.git robotstxt
cd robotstxt/
bazel build :robots_main
# arguments: local robots.txt file, crawler token, full URL
bazel run robots_main -- ~/robots.txt OAI-SearchBot https://example.com/files/report.pdf
# prints ALLOWED or DISALLOWED; exit code 0 means allowed, 1 means disallowed

Repositoriet dokumenterer også et CMake-bygg, som lager en binærfil kalt robots med de samme argumentene. Verktøyet bare tolker og matcher; det laster ikke ned robots.txt, så lagre den aktive filen først. README-filen påpeker også at crawlerspesifikk oppførsel utenom tolking og matching ikke er en del av biblioteket.

Kan jeg teste robots.txt med Pythons urllib.robotparser?

Pythons standardbibliotek har en parser som svarer tillatt eller blokkert for en user agent og en URL. Dette skriptet tester eksemplet over:

from urllib.robotparser import RobotFileParser

# Paste the robots.txt you want to test, or fetch it yourself first
ROBOTS_TXT = """
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$
"""

tests = [
    ("Googlebot", "https://example.com/search/help/billing"),
    ("GPTBot", "https://example.com/blog/post"),
    ("OAI-SearchBot", "https://example.com/admin/settings"),
    ("OAI-SearchBot", "https://example.com/files/report.pdf"),
]

rp = RobotFileParser()
rp.parse(ROBOTS_TXT.splitlines())
for agent, url in tests:
    print(f"{agent:15} {url}  ->", "allowed" if rp.can_fetch(agent, url) else "blocked")

Sjekk Python-versjonen før du stoler på resultatet. Støtte for samsvar etter RFC 9309 ble lagt til i CPython i 2026 og kom først med Python 3.13.14 og 3.14.5. Eldre versjoner, inkludert hele 3.12 og tidligere, bruker den første regelen i filrekkefølge som passer, ikke den lengste, og forstår ikke * eller $ inne i baner. På disse versjonene rapporterer skriptet første og fjerde test feil vei: Googlebot blokkert fra /search/help/billing og OAI-SearchBot tillatt å hente PDF-en.

To forskjeller til gjelder alle versjoner. RobotFileParser.read() behandler et 401- eller 403-svar for robots.txt som at alt er blokkert, mens RFC 9309 sier at 4xx betyr at alt kan hentes. Og read() laster ned filen med Pythons standard user agent, som noen brannmurer blokkerer, så en test kan si blokkert av grunner som ikke har noe med reglene dine å gjøre. Å hente filen selv og gi den til parse(), som over, unngår begge deler.

Hvorfor består en robots.txt-test mens crawleren fortsatt er blokkert?

En tester svarer på ett spørsmål: tillater reglene denne URL-en? Flere ting ligger utenfor det svaret:

Hvordan sjekker jeg robots.txt for alle AI-crawlere samtidig?

Den gratis robots.txt-sjekken fra AISeeWhy tar en sideadresse eller en innlimt robots.txt og viser for hver AI- og søkecrawler om siden kan hentes. Den gratis robots.txt-generatoren skriver en fil ut fra valgene dine, og den gratis sjekken henter siden som 16 crawlere for å vise om en brannmur blokkerer det robots.txt tillater.

Rettelser for dette problemet

Gratis verktøy

Neste steg

Crawlere i denne artikkelen

Vanlige spørsmål

Finnes det fortsatt en robots.txt-tester i Google Search Console?

Nei. Google erstattet den i november 2023 med robots.txt-rapporten, som viser filene Google hentet, statusen deres og eventuelle feil. For å sjekke om Googlebot kan gjennomsøke en bestemt URL bruker du verktøyet for URL-inspeksjon.

Overstyrer Allow Disallow i robots.txt?

Bare når Allow-regelen er lengre, eller nøyaktig like lang. Regelen med den lengste samsvarende banen vinner, uansett type, og Allow vinner ved likhet.

Skiller robots.txt mellom store og små bokstaver?

Delvis. Verdien i User-agent matches uten hensyn til store og små bokstaver, så gptbot og GPTBot viser til samme gruppe. Baner skiller mellom store og små bokstaver, så Disallow: /Private/ blokkerer ikke /private/.

Hva sjekker en robots.txt-validator?

En validator sjekker at filen kan nås, leveres som tekst og har gyldig syntaks. En tester går lenger og gir et svar for en bestemt URL og crawler. Du trenger som regel begge, fordi en gyldig fil fortsatt kan blokkere en side du ville tillate.

Hvis en crawler har sin egen gruppe, følger den fortsatt User-agent: *?

Nei. En navngitt gruppe erstatter *-gruppen helt for den crawleren. Alle regler du vil skal gjelde for alle, må gjentas i hver navngitte gruppe.

Kilder

Flere artikler