Ako otestovať pravidlá robots.txt pre URL a konkrétny crawler?

Publikované

Krátka odpoveď

Ak chcete otestovať URL pre jeden crawler, nájdite skupinu, ktorá uvádza token crawlera (alebo User-agent: *, ak taká nie je), zoberte z nej všetky pravidlá Allow a Disallow, ktoré zodpovedajú ceste URL, a uplatnite najdlhšie z nich; pri rovnosti vyhráva Allow. Dá sa to urobiť ručne, open-source parserom od Google alebo nástrojom, ktorý ukáže verdikt pre každý crawler. Starý robots.txt Tester v Search Console už neexistuje a prehľad robots.txt, ktorý ho nahradil, ukazuje, čo Google stiahol, nie verdikt pre URL.

Súbor robots.txt vyzerá jednoducho, kým nepotrebujete jednoznačnú odpoveď: smie GPTBot stiahnuť túto stránku a smie ju stiahnuť OAI-SearchBot? Odpoveď závisí od toho, ktorú skupinu si crawler vyberie a ktoré pravidlo v nej vyhrá, a v oboch krokoch sa ľahko pomýliť. Tu je, ako funguje zhoda podľa RFC 9309, štyri vyriešené príklady a tri spôsoby, ako súbor otestovať sami.

Na tejto stránke
  1. Čo sa stalo s nástrojom robots.txt Tester v Google Search Console?
  2. Ako crawler rozhodne, či je URL povolená?
  3. Môžete ukázať príklad testu robots.txt krok za krokom?
  4. Ako spustiť open-source parser robots.txt od Google?
  5. Dá sa robots.txt otestovať pomocou urllib.robotparser v Pythone?
  6. Prečo test robots.txt prejde, a crawler je aj tak zablokovaný?
  7. Ako skontrolovať robots.txt pre všetky AI crawlery naraz?

Čo sa stalo s nástrojom robots.txt Tester v Google Search Console?

V novembri 2023 Google pridal do Search Console prehľad robots.txt a oznámil, že nástroj robots.txt tester ruší. Prehľad nájdete v Nastaveniach a pokrýva len crawlery Google. Ukazuje:

Prehľad neprijme URL a nevráti povolené alebo zablokované. Na kontrolu jednej URL pre Googlebot Google odkazuje na nástroj Kontrola webovej adresy a na lokálne testovanie na svoju open-source knižnicu robots.txt. Ani jedno vám nepovie nič o AI crawleroch, ako sú GPTBot alebo ClaudeBot.

Ako crawler rozhodne, či je URL povolená?

Zhodu definuje RFC 9309, Robots Exclusion Protocol. Google dokumentuje rovnaké správanie pre svoje crawlery.

Kód odpovede robots.txt je rovnako dôležitý ako jeho pravidlá. Odpoveď 4xx znamená, že crawler smie sťahovať všetko; Google pri každom 4xx okrem 429 postupuje, akoby súbor neexistoval. Odpoveď 5xx znamená, že crawler musí predpokladať, že celý web je zakázaný. Google prvých 12 hodín prestane prehľadávať, potom až 30 dní používa poslednú dobrú kópiu. RFC 9309 vyžaduje, aby crawlery spracovali aspoň 500 KiB, a Google ignoruje všetko za hranicou 500 KiB.

Môžete ukázať príklad testu robots.txt krok za krokom?

Tu je malý robots.txt s predvolenou skupinou a dvoma pomenovanými AI crawlermi:

User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$

Rovnosť je zriedkavejšia, ale riadi sa tou istou logikou. Dokumentácia Google uvádza prípad allow: /folder a disallow: /folder pre URL /folder/page: obe sú rovnako dlhé, takže URL je povolená.

Ako spustiť open-source parser robots.txt od Google?

Google zverejňuje knižnicu v C++, ktorú v produkcii používa na vyhodnocovanie pravidiel robots.txt, s malým programom pre príkazový riadok na testovanie jednej URL a jedného user agenta voči lokálnemu súboru. S nainštalovaným Bazelom:

git clone https://github.com/google/robotstxt.git robotstxt
cd robotstxt/
bazel build :robots_main
# arguments: local robots.txt file, crawler token, full URL
bazel run robots_main -- ~/robots.txt OAI-SearchBot https://example.com/files/report.pdf
# prints ALLOWED or DISALLOWED; exit code 0 means allowed, 1 means disallowed

Repozitár dokumentuje aj zostavenie cez CMake, ktoré vytvorí binárku s názvom robots s rovnakými argumentmi. Nástroj len parsuje a vyhodnocuje zhodu; robots.txt nesťahuje, preto si živý súbor najprv uložte. Jeho README tiež upozorňuje, že správanie konkrétnych crawlerov mimo parsovania a zhody nie je súčasťou knižnice.

Dá sa robots.txt otestovať pomocou urllib.robotparser v Pythone?

Štandardná knižnica Pythonu obsahuje parser, ktorý pre user agenta a URL odpovie povolené alebo zablokované. Tento skript testuje príklad vyššie:

from urllib.robotparser import RobotFileParser

# Paste the robots.txt you want to test, or fetch it yourself first
ROBOTS_TXT = """
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$
"""

tests = [
    ("Googlebot", "https://example.com/search/help/billing"),
    ("GPTBot", "https://example.com/blog/post"),
    ("OAI-SearchBot", "https://example.com/admin/settings"),
    ("OAI-SearchBot", "https://example.com/files/report.pdf"),
]

rp = RobotFileParser()
rp.parse(ROBOTS_TXT.splitlines())
for agent, url in tests:
    print(f"{agent:15} {url}  ->", "allowed" if rp.can_fetch(agent, url) else "blocked")

Skôr než výstupu uveríte, overte si verziu Pythonu. Podpora zhody podľa RFC 9309 pribudla v CPythone v roku 2026 a prvýkrát vyšla v Pythone 3.13.14 a 3.14.5. Staršie verzie vrátane celej 3.12 a starších uplatňujú prvé zodpovedajúce pravidlo v poradí súboru, nie najdlhšie, a nerozumejú * ani $ v cestách. Na týchto verziách skript vyhodnotí prvý a štvrtý test opačne: Googlebot zablokovaný pre /search/help/billing a OAI-SearchBot s povolením stiahnuť PDF.

Ďalšie dva rozdiely platia pre každú verziu. RobotFileParser.read() považuje odpoveď 401 alebo 403 pre robots.txt za zákaz všetkého, kým RFC 9309 hovorí, že 4xx znamená, že sa smie sťahovať všetko. A read() sťahuje súbor s predvoleným user agentom Pythonu, ktorý niektoré firewally blokujú, takže test môže hlásiť zablokovanie z dôvodov, ktoré s vašimi pravidlami nesúvisia. Ak súbor stiahnete sami a odovzdáte ho do parse(), ako vyššie, vyhnete sa obom.

Prečo test robots.txt prejde, a crawler je aj tak zablokovaný?

Tester odpovedá na jednu otázku: povoľujú pravidlá túto URL? Viacero vecí je mimo tejto odpovede:

Ako skontrolovať robots.txt pre všetky AI crawlery naraz?

Bezplatná kontrola robots.txt od AISeeWhy prijme adresu stránky alebo vložený robots.txt a pre každý AI a vyhľadávací crawler ukáže, či smie stránku stiahnuť. Bezplatný generátor robots.txt napíše súbor podľa vašich volieb a bezplatná kontrola stiahne stránku ako 16 crawlerov a ukáže, či firewall neblokuje to, čo robots.txt povoľuje.

Opravy tohto problému

Nástroje zadarmo

Ďalšie kroky

Crawlery v tomto článku

Časté otázky

Je v Google Search Console ešte robots.txt tester?

Nie. Google ho v novembri 2023 nahradil prehľadom robots.txt, ktorý ukazuje súbory, ktoré Google stiahol, ich stav a prípadné chyby. Ak chcete overiť, či Googlebot smie prehľadávať konkrétnu URL, použite nástroj Kontrola webovej adresy.

Má Allow v robots.txt prednosť pred Disallow?

Len ak je pravidlo Allow dlhšie alebo presne rovnako dlhé. Vyhráva pravidlo s najdlhšou zodpovedajúcou cestou, nech je akéhokoľvek druhu, a pri rovnosti vyhráva Allow.

Rozlišuje robots.txt veľké a malé písmená?

Čiastočne. Hodnota User-agent sa porovnáva bez ohľadu na veľkosť písmen, takže gptbot a GPTBot označujú tú istú skupinu. Cesty veľké a malé písmená rozlišujú, takže Disallow: /Private/ neblokuje /private/.

Čo kontroluje validátor robots.txt?

Validátor kontroluje, či je súbor dostupný, či sa posiela ako text a či má platnú syntax. Tester ide ďalej a dá verdikt pre konkrétnu URL a crawler. Zvyčajne potrebujete oboje, pretože aj platný súbor môže zablokovať stránku, ktorú ste chceli povoliť.

Ak má crawler vlastnú skupinu, riadi sa ešte User-agent: *?

Nie. Pomenovaná skupina pre daný crawler úplne nahrádza skupinu *. Každé pravidlo, ktoré má platiť pre všetkých, musíte zopakovať v každej pomenovanej skupine.

Zdroje

Ďalšie články