Jak otestovat pravidla robots.txt pro URL a konkrétní crawler?
Chcete-li otestovat URL pro jeden crawler, najděte skupinu, která uvádí token crawleru (nebo User-agent: *, pokud žádná), vezměte všechna pravidla Allow a Disallow v ní, která odpovídají cestě URL, a použijte to nejdelší; při shodě délky vyhrává Allow. Můžete to udělat ručně, open source parserem Googlu nebo nástrojem, který ukáže verdikt pro každý crawler. Starý robots.txt Tester v Search Console už neexistuje a přehled robots.txt, který ho nahradil, ukazuje, co Google stáhl, ne verdikt pro URL.
Soubor robots.txt vypadá jednoduše, dokud nepotřebujete jednoznačnou odpověď: smí GPTBot stáhnout tuto stránku, a smí OAI-SearchBot? Odpověď závisí na tom, kterou skupinu si crawler vybere a které pravidlo v ní vyhraje, a v obou krocích se snadno chybuje. Tady je, jak funguje shoda podle RFC 9309, čtyři vyřešené příklady a tři způsoby, jak soubor otestovat sami.
Na této stránce
- Co se stalo s robots.txt Testerem v Google Search Console?
- Jak crawler rozhoduje, zda je URL povolená?
- Můžete ukázat příklad testu robots.txt krok za krokem?
- Jak spustím open source parser robots.txt od Googlu?
- Můžu robots.txt otestovat pomocí urllib.robotparser v Pythonu?
- Proč test robots.txt projde, a crawler je přesto zablokovaný?
- Jak zkontroluji robots.txt pro všechny AI crawlery najednou?
Co se stalo s robots.txt Testerem v Google Search Console?
V listopadu 2023 Google přidal do Search Console přehled robots.txt a oznámil, že robots.txt tester ukončuje. Přehled najdete v Nastavení a týká se jen crawlerů Googlu. Ukazuje:
- Soubory robots.txt, které Google našel pro 20 hlavních hostitelů vaší služby.
- Stav načtení každého souboru (
Fetched,Not Fetched - Not found (404)neboNot Fetched - Any other reason), kdy ho Google naposledy kontroloval a jeho velikost v bajtech. - Problémy v souboru. Google uvádí, že chyby brání použití pravidla, varování ne.
- Verze, které Google stáhl za posledních 30 dní, a tlačítko pro žádost o nové procházení po opravě souboru.
Přehled nepřijímá URL a neodpovídá povoleno nebo zablokováno. Pro kontrolu jedné URL pro Googlebot Google odkazuje na nástroj Kontrola URL a pro lokální testování na svou open source knihovnu pro robots.txt. Ani jedno vám neřekne nic o AI crawlerech, jako jsou GPTBot nebo ClaudeBot.
Jak crawler rozhoduje, zda je URL povolená?
Shodu definuje RFC 9309, Robots Exclusion Protocol. Google dokumentuje stejné chování pro své crawlery.
- Vyberte skupinu. Shoda user agenta nerozlišuje velká a malá písmena. Pokud jedna nebo více skupin uvádí token crawleru, jejich pravidla se spojí a skupina
User-agent: *se zcela ignoruje. Skupinou*se řídí jen crawler, který nemá vlastní skupinu. - Vyberte pravidlo. Z pravidel
AllowaDisallow, jejichž cesta odpovídá URL, vyhrává to s nejvíce znaky. Pokud jsouAllowaDisallowstejně dlouhé, má vyhrátAllow. - Čtěte vzory.
*odpovídá libovolné posloupnosti znaků a$označuje konec URL. Cesty rozlišují velká a malá písmena, takže/Admin/neodpovídá/admin/. - Žádné odpovídající pravidlo znamená povoleno. Samotný
/robots.txtje vždy povolený.
Stavový kód robots.txt je stejně důležitý jako jeho pravidla. Odpověď 4xx znamená, že crawler smí stahovat vše; Google každý 4xx kromě 429 považuje za chybějící soubor. Odpověď 5xx znamená, že crawler musí předpokládat, že je zakázaný celý web. Google prvních 12 hodin procházení zastaví a pak až 30 dní používá poslední platnou kopii. RFC 9309 vyžaduje, aby crawlery zpracovaly alespoň 500 KiB, a Google vše za hranicí 500 KiB ignoruje.
Můžete ukázat příklad testu robots.txt krok za krokem?
Tady je malý robots.txt s výchozí skupinou a dvěma AI crawlery s vlastní skupinou:
Googlebota/search/help/billing: povoleno. Googlebot nemá vlastní skupinu, takže platí skupina*. OdpovídajíDisallow: /searchiAllow: /search/helpa pravidloAllowje delší.GPTBota/blog/post: zablokováno. GPTBot má vlastní skupinu aDisallow: /odpovídá každé cestě.OAI-SearchBota/admin/settings: povoleno. OAI-SearchBot má vlastní skupinu, takže se na nějDisallow: /admin/ze skupiny*nevztahuje. To je nejčastější překvapení; společná pravidla zopakujte v každé pojmenované skupině.OAI-SearchBota/files/report.pdf: zablokováno.Allow: /odpovídá jedním znakem,Disallow: /*.pdf$sedmi a delší pravidlo vyhrává.
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$ Shody délky jsou vzácnější, ale řídí se stejnou logikou. Dokumentace Googlu uvádí případ allow: /folder a disallow: /folder pro URL /folder/page: obě pravidla jsou stejně dlouhá, takže URL je povolená.
Jak spustím open source parser robots.txt od Googlu?
Google zveřejňuje knihovnu v C++, kterou v produkci používá k vyhodnocování pravidel robots.txt, s malým programem pro příkazovou řádku, který otestuje jednu URL a jednoho user agenta proti lokálnímu souboru. S nainstalovaným Bazelem:
git clone https://github.com/google/robotstxt.git robotstxt
cd robotstxt/
bazel build :robots_main
# arguments: local robots.txt file, crawler token, full URL
bazel run robots_main -- ~/robots.txt OAI-SearchBot https://example.com/files/report.pdf
# prints ALLOWED or DISALLOWED; exit code 0 means allowed, 1 means disallowed Repozitář popisuje i sestavení přes CMake, které vytvoří binárku robots se stejnými argumenty. Nástroj jen parsuje a vyhodnocuje shodu; robots.txt nestahuje, takže si živý soubor nejdřív uložte. Jeho README také upozorňuje, že chování specifické pro jednotlivé crawlery mimo parsování a shodu není součástí knihovny.
Můžu robots.txt otestovat pomocí urllib.robotparser v Pythonu?
Standardní knihovna Pythonu obsahuje parser, který pro user agenta a URL odpoví povoleno nebo zablokováno. Tento skript testuje příklad výše:
from urllib.robotparser import RobotFileParser
# Paste the robots.txt you want to test, or fetch it yourself first
ROBOTS_TXT = """
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$
"""
tests = [
("Googlebot", "https://example.com/search/help/billing"),
("GPTBot", "https://example.com/blog/post"),
("OAI-SearchBot", "https://example.com/admin/settings"),
("OAI-SearchBot", "https://example.com/files/report.pdf"),
]
rp = RobotFileParser()
rp.parse(ROBOTS_TXT.splitlines())
for agent, url in tests:
print(f"{agent:15} {url} ->", "allowed" if rp.can_fetch(agent, url) else "blocked") Než výstupu uvěříte, zkontrolujte verzi Pythonu. Podpora shody podle RFC 9309 přibyla do CPythonu v roce 2026 a poprvé vyšla v Pythonu 3.13.14 a 3.14.5. Starší vydání, včetně celé řady 3.12 a starších, použijí první odpovídající pravidlo v pořadí souboru, ne nejdelší, a nerozumějí * ani $ uvnitř cest. Na těchto verzích skript vyhodnotí první a čtvrtý test obráceně: Googlebot zablokovaný pro /search/help/billing a OAI-SearchBot s povolením stáhnout PDF.
Dva další rozdíly platí pro všechny verze. RobotFileParser.read() považuje odpověď 401 nebo 403 pro robots.txt za zákaz všeho, zatímco RFC 9309 říká, že 4xx znamená, že stahovat se smí vše. A read() stahuje soubor s výchozím user agentem Pythonu, který některé firewally blokují, takže test může hlásit zablokování z důvodů, které s vašimi pravidly nesouvisejí. Když soubor stáhnete sami a předáte ho do parse(), jako výše, vyhnete se obojímu.
Proč test robots.txt projde, a crawler je přesto zablokovaný?
Tester odpovídá na jedinou otázku: povolují pravidla tuto URL? Několik věcí leží mimo tuto odpověď:
- Živý soubor se liší od toho, který jste testovali, nebo crawler stále používá kopii z mezipaměti. RFC 9309 uvádí, že crawlery by neměly používat kopii z mezipaměti déle než 24 hodin, a Google obecně ukládá do mezipaměti až na 24 hodin.
- URL robots.txt vrací HTML stránku nebo chybu. HTML stránka se stavem 200 neobsahuje žádná platná pravidla a odpověď 5xx zablokuje celý web.
- robots.txt je žádost, ne řízení přístupu. Firewall, CDN nebo ochrana proti botům může crawleru stále odpovědět kódem 403 nebo ověřovací stránkou.
Jak zkontroluji robots.txt pro všechny AI crawlery najednou?
Bezplatná kontrola robots.txt od AISeeWhy přijme adresu stránky nebo vložený robots.txt a pro každý AI a vyhledávací crawler ukáže, zda smí stránku stáhnout. Bezplatný generátor robots.txt sestaví soubor podle vašich voleb a bezplatná kontrola stáhne stránku jako 16 crawlerů a ukáže, zda firewall neblokuje to, co robots.txt povoluje.
Opravy tohoto problému
- robots.txt povoluje GPTBot, ale server ho blokuje
- robots.txt zakazuje OAI-SearchBot
- robots.txt je stránka HTML
- robots.txt nelze stáhnout
Další kroky
- robots.txt tester a kontrola pro AI crawlery
- Podívejte se na ukázku plné zprávy
- Monitoring AI crawlerů
- Plány a ceny
Crawlery v tomto článku
Časté dotazy
Je v Google Search Console ještě robots.txt tester?
Ne. V listopadu 2023 ho Google nahradil přehledem robots.txt, který ukazuje soubory, jež Google stáhl, jejich stav a případné chyby. Zda smí Googlebot procházet konkrétní URL, ověříte nástrojem Kontrola URL.
Přebije Allow v robots.txt Disallow?
Jen když je pravidlo Allow delší nebo přesně stejně dlouhé. Vyhrává pravidlo s nejdelší odpovídající cestou, ať je jakéhokoli typu, a při shodě vyhrává Allow.
Rozlišuje robots.txt velká a malá písmena?
Částečně. Hodnota User-agent se porovnává bez ohledu na velikost písmen, takže gptbot a GPTBot označují stejnou skupinu. Cesty velikost písmen rozlišují, takže Disallow: /Private/ neblokuje /private/.
Co kontroluje validátor robots.txt?
Validátor ověřuje, že je soubor dostupný, poskytovaný jako text a napsaný v platné syntaxi. Tester jde dál a vydá verdikt pro konkrétní URL a crawler. Obvykle potřebujete obojí, protože i platný soubor může blokovat stránku, kterou jste chtěli povolit.
Pokud má crawler vlastní skupinu, řídí se ještě User-agent: *?
Ne. Pojmenovaná skupina pro daný crawler skupinu * zcela nahrazuje. Každé pravidlo, které má platit pro všechny, musíte zopakovat v každé pojmenované skupině.
Zdroje
- Google Search Console Help: robots.txt report
- Search Engine Roundtable: New Google Search Console robots.txt report replaced robots.txt tester tool
- Google Search Central: How Google interprets the robots.txt specification
- Google Search Central: Create and submit a robots.txt file
- RFC 9309: Robots Exclusion Protocol
- GitHub: google/robotstxt
- Dokumentace Pythonu: urllib.robotparser
- Zdrojový kód CPythonu: Lib/urllib/robotparser.py