Hur testar jag robots.txt-regler för en URL och en viss crawler?

Publicerad

Kort svar

För att testa en URL för en crawler letar du upp gruppen som namnger crawlerns token (eller User-agent: * om ingen gör det), samlar alla Allow- och Disallow-regler i den som matchar URL:ens sökväg och tillämpar den längsta; vid lika längd vinner Allow. Du kan göra det för hand, med Googles parser med öppen källkod eller med ett verktyg som ger ett besked per crawler. Googles gamla robots.txt-testverktyg i Search Console finns inte längre, och robots.txt-rapporten som ersatte det visar vad Google hämtade, inte ett besked för en URL.

En robots.txt-fil ser enkel ut tills du behöver ett säkert svar: får GPTBot hämta den här sidan, och får OAI-SearchBot det? Svaret beror på vilken grupp crawlern väljer och vilken regel i gruppen som vinner, och båda stegen är lätta att göra fel. Här går vi igenom hur matchningen fungerar enligt RFC 9309, fyra genomarbetade exempel och tre sätt att testa en fil själv.

På den här sidan
  1. Vad hände med robots.txt-testverktyget i Google Search Console?
  2. Hur avgör en crawler om en URL är tillåten?
  3. Kan du visa ett exempel på ett robots.txt-test?
  4. Hur kör jag Googles robots.txt-parser med öppen källkod?
  5. Kan jag testa robots.txt med Pythons urllib.robotparser?
  6. Varför godkänns ett robots.txt-test när crawlern ändå blockeras?
  7. Hur kontrollerar jag robots.txt för alla AI-crawlers på en gång?

Vad hände med robots.txt-testverktyget i Google Search Console?

I november 2023 lade Google till en robots.txt-rapport i Search Console och meddelade att robots.txt-testverktyget skulle fasas ut. Rapporten finns under Inställningar och gäller bara Googles crawlers. Den visar:

Rapporten tar inte emot en URL och svarar tillåten eller blockerad. För att kontrollera en URL för Googlebot hänvisar Google till verktyget för URL-inspektion, och för lokala tester till sitt robots.txt-bibliotek med öppen källkod. Inget av dem säger något om AI-crawlers som GPTBot eller ClaudeBot.

Hur avgör en crawler om en URL är tillåten?

RFC 9309, Robots Exclusion Protocol, definierar matchningen. Google dokumenterar samma beteende för sina crawlers.

Svarskoden för robots.txt spelar lika stor roll som reglerna. Ett 4xx-svar betyder att crawlern får hämta allt; Google behandlar alla 4xx utom 429 som om det inte fanns någon fil. Ett 5xx-svar betyder att crawlern måste anta att hela webbplatsen är nekad. Google slutar genomsöka de första 12 timmarna och använder sedan den senaste fungerande kopian i upp till 30 dagar. RFC 9309 kräver att crawlers tolkar minst 500 KiB, och Google ignorerar allt efter 500 KiB.

Kan du visa ett exempel på ett robots.txt-test?

Här är en liten robots.txt med en standardgrupp och två namngivna AI-crawlers:

User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$

Lika långa regler är ovanligare men följer samma logik. Googles dokumentation tar upp fallet allow: /folder och disallow: /folder för URL:en /folder/page: båda är lika långa, så URL:en är tillåten.

Hur kör jag Googles robots.txt-parser med öppen källkod?

Google publicerar C++-biblioteket som används i produktion för att matcha robots.txt-regler, med ett litet kommandoradsprogram som testar en URL och en user agent mot en lokal fil. Med Bazel installerat:

git clone https://github.com/google/robotstxt.git robotstxt
cd robotstxt/
bazel build :robots_main
# arguments: local robots.txt file, crawler token, full URL
bazel run robots_main -- ~/robots.txt OAI-SearchBot https://example.com/files/report.pdf
# prints ALLOWED or DISALLOWED; exit code 0 means allowed, 1 means disallowed

Repot dokumenterar också ett bygge med CMake, som ger en binärfil med namnet robots och samma argument. Verktyget tolkar och matchar bara; det laddar inte ner robots.txt, så spara den publicerade filen först. README-filen påpekar också att crawlerspecifikt beteende utöver tolkning och matchning inte ingår i biblioteket.

Kan jag testa robots.txt med Pythons urllib.robotparser?

Pythons standardbibliotek innehåller en parser som svarar tillåten eller blockerad för en user agent och en URL. Det här skriptet testar exemplet ovan:

from urllib.robotparser import RobotFileParser

# Paste the robots.txt you want to test, or fetch it yourself first
ROBOTS_TXT = """
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$
"""

tests = [
    ("Googlebot", "https://example.com/search/help/billing"),
    ("GPTBot", "https://example.com/blog/post"),
    ("OAI-SearchBot", "https://example.com/admin/settings"),
    ("OAI-SearchBot", "https://example.com/files/report.pdf"),
]

rp = RobotFileParser()
rp.parse(ROBOTS_TXT.splitlines())
for agent, url in tests:
    print(f"{agent:15} {url}  ->", "allowed" if rp.can_fetch(agent, url) else "blocked")

Kontrollera din Python-version innan du litar på resultatet. Stöd för matchning enligt RFC 9309 lades till i CPython 2026 och kom först i Python 3.13.14 och 3.14.5. Äldre versioner, inklusive alla 3.12 och tidigare, tillämpar den första matchande regeln i filens ordning, inte den längsta, och förstår inte * eller $ i sökvägar. På de versionerna rapporterar skriptet det första och fjärde testet tvärtom: Googlebot blockerad från /search/help/billing och OAI-SearchBot tillåten att hämta PDF-filen.

Två skillnader till gäller alla versioner. RobotFileParser.read() behandlar ett 401- eller 403-svar för robots.txt som att allt är nekat, medan RFC 9309 säger att en 4xx betyder att allt får hämtas. Och read() laddar ner filen med Pythons standard-user agent, som vissa brandväggar blockerar, så ett test kan svara blockerad av skäl som inte har med dina regler att göra. Om du hämtar filen själv och skickar den till parse(), som ovan, undviker du båda problemen.

Varför godkänns ett robots.txt-test när crawlern ändå blockeras?

Ett testverktyg besvarar en fråga: tillåter reglerna den här URL:en? Flera saker ligger utanför det svaret:

Hur kontrollerar jag robots.txt för alla AI-crawlers på en gång?

Den kostnadsfria robots.txt-kontrollen i AISeeWhy tar en sidadress eller en inklistrad robots.txt och visar för varje AI- och sökcrawler om sidan får hämtas. Den kostnadsfria robots.txt-generatorn skriver en fil utifrån dina val, och den kostnadsfria kontrollen hämtar sidan som 16 crawlers för att visa om en brandvägg blockerar det som robots.txt tillåter.

Åtgärder för det här problemet

Gratis verktyg

Nästa steg

Crawlers i den här artikeln

Vanliga frågor

Finns robots.txt-testaren kvar i Google Search Console?

Nej. Google ersatte den i november 2023 med robots.txt-rapporten, som visar de filer Google hämtade, deras status och eventuella fel. För att kontrollera om Googlebot får genomsöka en viss URL använder du verktyget för URL-inspektion.

Går Allow före Disallow i robots.txt?

Bara när Allow-regeln är längre, eller exakt lika lång. Regeln med den längsta matchande sökvägen vinner, oavsett typ, och Allow vinner vid lika längd.

Skiljer robots.txt på versaler och gemener?

Delvis. Värdet för User-agent matchas utan hänsyn till versaler och gemener, så gptbot och GPTBot pekar på samma grupp. Sökvägar skiljer på versaler och gemener, så Disallow: /Private/ blockerar inte /private/.

Vad kontrollerar en robots.txt-validator?

En validator kontrollerar att filen går att nå, skickas som text och har giltig syntax. Ett testverktyg går längre och ger ett besked för en viss URL och crawler. Du behöver oftast båda, eftersom en giltig fil ändå kan blockera en sida som du ville tillåta.

Om en crawler har en egen grupp, följer den ändå User-agent: *?

Nej. En namngiven grupp ersätter gruppen * helt för den crawlern. Varje regel som ska gälla alla måste upprepas i varje namngiven grupp.

Källor

Fler artiklar