Jak otestovat pravidla robots.txt pro URL a konkrétní crawler?

Publikováno

Stručná odpověď

Chcete-li otestovat URL pro jeden crawler, najděte skupinu, která uvádí token crawleru (nebo User-agent: *, pokud žádná), vezměte všechna pravidla Allow a Disallow v ní, která odpovídají cestě URL, a použijte to nejdelší; při shodě délky vyhrává Allow. Můžete to udělat ručně, open source parserem Googlu nebo nástrojem, který ukáže verdikt pro každý crawler. Starý robots.txt Tester v Search Console už neexistuje a přehled robots.txt, který ho nahradil, ukazuje, co Google stáhl, ne verdikt pro URL.

Soubor robots.txt vypadá jednoduše, dokud nepotřebujete jednoznačnou odpověď: smí GPTBot stáhnout tuto stránku, a smí OAI-SearchBot? Odpověď závisí na tom, kterou skupinu si crawler vybere a které pravidlo v ní vyhraje, a v obou krocích se snadno chybuje. Tady je, jak funguje shoda podle RFC 9309, čtyři vyřešené příklady a tři způsoby, jak soubor otestovat sami.

Na této stránce
  1. Co se stalo s robots.txt Testerem v Google Search Console?
  2. Jak crawler rozhoduje, zda je URL povolená?
  3. Můžete ukázat příklad testu robots.txt krok za krokem?
  4. Jak spustím open source parser robots.txt od Googlu?
  5. Můžu robots.txt otestovat pomocí urllib.robotparser v Pythonu?
  6. Proč test robots.txt projde, a crawler je přesto zablokovaný?
  7. Jak zkontroluji robots.txt pro všechny AI crawlery najednou?

Co se stalo s robots.txt Testerem v Google Search Console?

V listopadu 2023 Google přidal do Search Console přehled robots.txt a oznámil, že robots.txt tester ukončuje. Přehled najdete v Nastavení a týká se jen crawlerů Googlu. Ukazuje:

Přehled nepřijímá URL a neodpovídá povoleno nebo zablokováno. Pro kontrolu jedné URL pro Googlebot Google odkazuje na nástroj Kontrola URL a pro lokální testování na svou open source knihovnu pro robots.txt. Ani jedno vám neřekne nic o AI crawlerech, jako jsou GPTBot nebo ClaudeBot.

Jak crawler rozhoduje, zda je URL povolená?

Shodu definuje RFC 9309, Robots Exclusion Protocol. Google dokumentuje stejné chování pro své crawlery.

Stavový kód robots.txt je stejně důležitý jako jeho pravidla. Odpověď 4xx znamená, že crawler smí stahovat vše; Google každý 4xx kromě 429 považuje za chybějící soubor. Odpověď 5xx znamená, že crawler musí předpokládat, že je zakázaný celý web. Google prvních 12 hodin procházení zastaví a pak až 30 dní používá poslední platnou kopii. RFC 9309 vyžaduje, aby crawlery zpracovaly alespoň 500 KiB, a Google vše za hranicí 500 KiB ignoruje.

Můžete ukázat příklad testu robots.txt krok za krokem?

Tady je malý robots.txt s výchozí skupinou a dvěma AI crawlery s vlastní skupinou:

User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$

Shody délky jsou vzácnější, ale řídí se stejnou logikou. Dokumentace Googlu uvádí případ allow: /folder a disallow: /folder pro URL /folder/page: obě pravidla jsou stejně dlouhá, takže URL je povolená.

Jak spustím open source parser robots.txt od Googlu?

Google zveřejňuje knihovnu v C++, kterou v produkci používá k vyhodnocování pravidel robots.txt, s malým programem pro příkazovou řádku, který otestuje jednu URL a jednoho user agenta proti lokálnímu souboru. S nainstalovaným Bazelem:

git clone https://github.com/google/robotstxt.git robotstxt
cd robotstxt/
bazel build :robots_main
# arguments: local robots.txt file, crawler token, full URL
bazel run robots_main -- ~/robots.txt OAI-SearchBot https://example.com/files/report.pdf
# prints ALLOWED or DISALLOWED; exit code 0 means allowed, 1 means disallowed

Repozitář popisuje i sestavení přes CMake, které vytvoří binárku robots se stejnými argumenty. Nástroj jen parsuje a vyhodnocuje shodu; robots.txt nestahuje, takže si živý soubor nejdřív uložte. Jeho README také upozorňuje, že chování specifické pro jednotlivé crawlery mimo parsování a shodu není součástí knihovny.

Můžu robots.txt otestovat pomocí urllib.robotparser v Pythonu?

Standardní knihovna Pythonu obsahuje parser, který pro user agenta a URL odpoví povoleno nebo zablokováno. Tento skript testuje příklad výše:

from urllib.robotparser import RobotFileParser

# Paste the robots.txt you want to test, or fetch it yourself first
ROBOTS_TXT = """
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$
"""

tests = [
    ("Googlebot", "https://example.com/search/help/billing"),
    ("GPTBot", "https://example.com/blog/post"),
    ("OAI-SearchBot", "https://example.com/admin/settings"),
    ("OAI-SearchBot", "https://example.com/files/report.pdf"),
]

rp = RobotFileParser()
rp.parse(ROBOTS_TXT.splitlines())
for agent, url in tests:
    print(f"{agent:15} {url}  ->", "allowed" if rp.can_fetch(agent, url) else "blocked")

Než výstupu uvěříte, zkontrolujte verzi Pythonu. Podpora shody podle RFC 9309 přibyla do CPythonu v roce 2026 a poprvé vyšla v Pythonu 3.13.14 a 3.14.5. Starší vydání, včetně celé řady 3.12 a starších, použijí první odpovídající pravidlo v pořadí souboru, ne nejdelší, a nerozumějí * ani $ uvnitř cest. Na těchto verzích skript vyhodnotí první a čtvrtý test obráceně: Googlebot zablokovaný pro /search/help/billing a OAI-SearchBot s povolením stáhnout PDF.

Dva další rozdíly platí pro všechny verze. RobotFileParser.read() považuje odpověď 401 nebo 403 pro robots.txt za zákaz všeho, zatímco RFC 9309 říká, že 4xx znamená, že stahovat se smí vše. A read() stahuje soubor s výchozím user agentem Pythonu, který některé firewally blokují, takže test může hlásit zablokování z důvodů, které s vašimi pravidly nesouvisejí. Když soubor stáhnete sami a předáte ho do parse(), jako výše, vyhnete se obojímu.

Proč test robots.txt projde, a crawler je přesto zablokovaný?

Tester odpovídá na jedinou otázku: povolují pravidla tuto URL? Několik věcí leží mimo tuto odpověď:

Jak zkontroluji robots.txt pro všechny AI crawlery najednou?

Bezplatná kontrola robots.txt od AISeeWhy přijme adresu stránky nebo vložený robots.txt a pro každý AI a vyhledávací crawler ukáže, zda smí stránku stáhnout. Bezplatný generátor robots.txt sestaví soubor podle vašich voleb a bezplatná kontrola stáhne stránku jako 16 crawlerů a ukáže, zda firewall neblokuje to, co robots.txt povoluje.

Opravy tohoto problému

Nástroje zdarma

Další kroky

Crawlery v tomto článku

Časté dotazy

Je v Google Search Console ještě robots.txt tester?

Ne. V listopadu 2023 ho Google nahradil přehledem robots.txt, který ukazuje soubory, jež Google stáhl, jejich stav a případné chyby. Zda smí Googlebot procházet konkrétní URL, ověříte nástrojem Kontrola URL.

Přebije Allow v robots.txt Disallow?

Jen když je pravidlo Allow delší nebo přesně stejně dlouhé. Vyhrává pravidlo s nejdelší odpovídající cestou, ať je jakéhokoli typu, a při shodě vyhrává Allow.

Rozlišuje robots.txt velká a malá písmena?

Částečně. Hodnota User-agent se porovnává bez ohledu na velikost písmen, takže gptbot a GPTBot označují stejnou skupinu. Cesty velikost písmen rozlišují, takže Disallow: /Private/ neblokuje /private/.

Co kontroluje validátor robots.txt?

Validátor ověřuje, že je soubor dostupný, poskytovaný jako text a napsaný v platné syntaxi. Tester jde dál a vydá verdikt pro konkrétní URL a crawler. Obvykle potřebujete obojí, protože i platný soubor může blokovat stránku, kterou jste chtěli povolit.

Pokud má crawler vlastní skupinu, řídí se ještě User-agent: *?

Ne. Pojmenovaná skupina pro daný crawler skupinu * zcela nahrazuje. Každé pravidlo, které má platit pro všechny, musíte zopakovat v každé pojmenované skupině.

Zdroje

Další články