Ako otestovať pravidlá robots.txt pre URL a konkrétny crawler?
Ak chcete otestovať URL pre jeden crawler, nájdite skupinu, ktorá uvádza token crawlera (alebo User-agent: *, ak taká nie je), zoberte z nej všetky pravidlá Allow a Disallow, ktoré zodpovedajú ceste URL, a uplatnite najdlhšie z nich; pri rovnosti vyhráva Allow. Dá sa to urobiť ručne, open-source parserom od Google alebo nástrojom, ktorý ukáže verdikt pre každý crawler. Starý robots.txt Tester v Search Console už neexistuje a prehľad robots.txt, ktorý ho nahradil, ukazuje, čo Google stiahol, nie verdikt pre URL.
Súbor robots.txt vyzerá jednoducho, kým nepotrebujete jednoznačnú odpoveď: smie GPTBot stiahnuť túto stránku a smie ju stiahnuť OAI-SearchBot? Odpoveď závisí od toho, ktorú skupinu si crawler vyberie a ktoré pravidlo v nej vyhrá, a v oboch krokoch sa ľahko pomýliť. Tu je, ako funguje zhoda podľa RFC 9309, štyri vyriešené príklady a tri spôsoby, ako súbor otestovať sami.
Na tejto stránke
- Čo sa stalo s nástrojom robots.txt Tester v Google Search Console?
- Ako crawler rozhodne, či je URL povolená?
- Môžete ukázať príklad testu robots.txt krok za krokom?
- Ako spustiť open-source parser robots.txt od Google?
- Dá sa robots.txt otestovať pomocou urllib.robotparser v Pythone?
- Prečo test robots.txt prejde, a crawler je aj tak zablokovaný?
- Ako skontrolovať robots.txt pre všetky AI crawlery naraz?
Čo sa stalo s nástrojom robots.txt Tester v Google Search Console?
V novembri 2023 Google pridal do Search Console prehľad robots.txt a oznámil, že nástroj robots.txt tester ruší. Prehľad nájdete v Nastaveniach a pokrýva len crawlery Google. Ukazuje:
- Súbory robots.txt, ktoré Google našiel pre 20 hlavných hostiteľov vašej vlastnosti.
- Stav načítania každého súboru (
Fetched,Not Fetched - Not found (404)aleboNot Fetched - Any other reason), kedy ho Google naposledy kontroloval a jeho veľkosť v bajtoch. - Problémy v súbore. Google uvádza, že chyby bránia použitiu pravidla, kým upozornenia nie.
- Verzie, ktoré Google stiahol za posledných 30 dní, a tlačidlo na vyžiadanie opätovného prehľadania po oprave súboru.
Prehľad neprijme URL a nevráti povolené alebo zablokované. Na kontrolu jednej URL pre Googlebot Google odkazuje na nástroj Kontrola webovej adresy a na lokálne testovanie na svoju open-source knižnicu robots.txt. Ani jedno vám nepovie nič o AI crawleroch, ako sú GPTBot alebo ClaudeBot.
Ako crawler rozhodne, či je URL povolená?
Zhodu definuje RFC 9309, Robots Exclusion Protocol. Google dokumentuje rovnaké správanie pre svoje crawlery.
- Výber skupiny. Zhoda user-agenta nerozlišuje veľké a malé písmená. Ak jedna alebo viac skupín uvádza token crawlera, ich pravidlá sa spoja a skupina
User-agent: *sa úplne ignoruje. Skupinou*sa riadi len crawler, ktorý nemá vlastnú skupinu. - Výber pravidla. Spomedzi pravidiel
AllowaDisallow, ktorých cesta zodpovedá URL, vyhráva to s najviac znakmi. Ak súAllowaDisallowrovnako dlhé, má vyhraťAllow. - Čítanie vzorov.
*zodpovedá ľubovoľnému reťazcu znakov a$označuje koniec URL. Cesty rozlišujú veľké a malé písmená, takže/Admin/nezodpovedá/admin/. - Žiadne zodpovedajúce pravidlo znamená povolené. Samotný
/robots.txtje vždy povolený.
Kód odpovede robots.txt je rovnako dôležitý ako jeho pravidlá. Odpoveď 4xx znamená, že crawler smie sťahovať všetko; Google pri každom 4xx okrem 429 postupuje, akoby súbor neexistoval. Odpoveď 5xx znamená, že crawler musí predpokladať, že celý web je zakázaný. Google prvých 12 hodín prestane prehľadávať, potom až 30 dní používa poslednú dobrú kópiu. RFC 9309 vyžaduje, aby crawlery spracovali aspoň 500 KiB, a Google ignoruje všetko za hranicou 500 KiB.
Môžete ukázať príklad testu robots.txt krok za krokom?
Tu je malý robots.txt s predvolenou skupinou a dvoma pomenovanými AI crawlermi:
Googlebota/search/help/billing: povolené. Googlebot nemá vlastnú skupinu, takže platí skupina*. Zhodujú saDisallow: /searchajAllow: /search/helpa pravidloAllowje dlhšie.GPTBota/blog/post: zablokované. GPTBot má vlastnú skupinu aDisallow: /zodpovedá každej ceste.OAI-SearchBota/admin/settings: povolené. OAI-SearchBot má vlastnú skupinu, takžeDisallow: /admin/zo skupiny*sa naň nevzťahuje. Toto je najčastejšie prekvapenie; spoločné pravidlá zopakujte v každej pomenovanej skupine.OAI-SearchBota/files/report.pdf: zablokované.Allow: /sa zhoduje jedným znakom,Disallow: /*.pdf$siedmimi a dlhšie pravidlo vyhráva.
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$ Rovnosť je zriedkavejšia, ale riadi sa tou istou logikou. Dokumentácia Google uvádza prípad allow: /folder a disallow: /folder pre URL /folder/page: obe sú rovnako dlhé, takže URL je povolená.
Ako spustiť open-source parser robots.txt od Google?
Google zverejňuje knižnicu v C++, ktorú v produkcii používa na vyhodnocovanie pravidiel robots.txt, s malým programom pre príkazový riadok na testovanie jednej URL a jedného user agenta voči lokálnemu súboru. S nainštalovaným Bazelom:
git clone https://github.com/google/robotstxt.git robotstxt
cd robotstxt/
bazel build :robots_main
# arguments: local robots.txt file, crawler token, full URL
bazel run robots_main -- ~/robots.txt OAI-SearchBot https://example.com/files/report.pdf
# prints ALLOWED or DISALLOWED; exit code 0 means allowed, 1 means disallowed Repozitár dokumentuje aj zostavenie cez CMake, ktoré vytvorí binárku s názvom robots s rovnakými argumentmi. Nástroj len parsuje a vyhodnocuje zhodu; robots.txt nesťahuje, preto si živý súbor najprv uložte. Jeho README tiež upozorňuje, že správanie konkrétnych crawlerov mimo parsovania a zhody nie je súčasťou knižnice.
Dá sa robots.txt otestovať pomocou urllib.robotparser v Pythone?
Štandardná knižnica Pythonu obsahuje parser, ktorý pre user agenta a URL odpovie povolené alebo zablokované. Tento skript testuje príklad vyššie:
from urllib.robotparser import RobotFileParser
# Paste the robots.txt you want to test, or fetch it yourself first
ROBOTS_TXT = """
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$
"""
tests = [
("Googlebot", "https://example.com/search/help/billing"),
("GPTBot", "https://example.com/blog/post"),
("OAI-SearchBot", "https://example.com/admin/settings"),
("OAI-SearchBot", "https://example.com/files/report.pdf"),
]
rp = RobotFileParser()
rp.parse(ROBOTS_TXT.splitlines())
for agent, url in tests:
print(f"{agent:15} {url} ->", "allowed" if rp.can_fetch(agent, url) else "blocked") Skôr než výstupu uveríte, overte si verziu Pythonu. Podpora zhody podľa RFC 9309 pribudla v CPythone v roku 2026 a prvýkrát vyšla v Pythone 3.13.14 a 3.14.5. Staršie verzie vrátane celej 3.12 a starších uplatňujú prvé zodpovedajúce pravidlo v poradí súboru, nie najdlhšie, a nerozumejú * ani $ v cestách. Na týchto verziách skript vyhodnotí prvý a štvrtý test opačne: Googlebot zablokovaný pre /search/help/billing a OAI-SearchBot s povolením stiahnuť PDF.
Ďalšie dva rozdiely platia pre každú verziu. RobotFileParser.read() považuje odpoveď 401 alebo 403 pre robots.txt za zákaz všetkého, kým RFC 9309 hovorí, že 4xx znamená, že sa smie sťahovať všetko. A read() sťahuje súbor s predvoleným user agentom Pythonu, ktorý niektoré firewally blokujú, takže test môže hlásiť zablokovanie z dôvodov, ktoré s vašimi pravidlami nesúvisia. Ak súbor stiahnete sami a odovzdáte ho do parse(), ako vyššie, vyhnete sa obom.
Prečo test robots.txt prejde, a crawler je aj tak zablokovaný?
Tester odpovedá na jednu otázku: povoľujú pravidlá túto URL? Viacero vecí je mimo tejto odpovede:
- Živý súbor sa líši od toho, ktorý ste testovali, alebo crawler stále používa kópiu z vyrovnávacej pamäte. RFC 9309 hovorí, že crawlery by kópiu z vyrovnávacej pamäte nemali používať dlhšie ako 24 hodín, a Google vo všeobecnosti ukladá súbor až na 24 hodín.
- URL robots.txt vracia stránku HTML alebo chybu. Stránka HTML so stavom 200 neobsahuje žiadne platné pravidlá a odpoveď 5xx zablokuje celý web.
- robots.txt je žiadosť, nie riadenie prístupu. Firewall, CDN alebo ochrana proti botom môžu crawleru aj tak odpovedať kódom 403 alebo overovacou stránkou.
Ako skontrolovať robots.txt pre všetky AI crawlery naraz?
Bezplatná kontrola robots.txt od AISeeWhy prijme adresu stránky alebo vložený robots.txt a pre každý AI a vyhľadávací crawler ukáže, či smie stránku stiahnuť. Bezplatný generátor robots.txt napíše súbor podľa vašich volieb a bezplatná kontrola stiahne stránku ako 16 crawlerov a ukáže, či firewall neblokuje to, čo robots.txt povoľuje.
Opravy tohto problému
- robots.txt povoľuje GPTBot, ale server ho blokuje
- robots.txt zakazuje OAI-SearchBot
- robots.txt je stránka HTML
- robots.txt sa nedá stiahnuť
Ďalšie kroky
- robots.txt tester a kontrola pre AI crawlery
- Pozrite si ukážku úplnej správy
- Monitoring AI crawlerov
- Plány a ceny
Crawlery v tomto článku
Časté otázky
Je v Google Search Console ešte robots.txt tester?
Nie. Google ho v novembri 2023 nahradil prehľadom robots.txt, ktorý ukazuje súbory, ktoré Google stiahol, ich stav a prípadné chyby. Ak chcete overiť, či Googlebot smie prehľadávať konkrétnu URL, použite nástroj Kontrola webovej adresy.
Má Allow v robots.txt prednosť pred Disallow?
Len ak je pravidlo Allow dlhšie alebo presne rovnako dlhé. Vyhráva pravidlo s najdlhšou zodpovedajúcou cestou, nech je akéhokoľvek druhu, a pri rovnosti vyhráva Allow.
Rozlišuje robots.txt veľké a malé písmená?
Čiastočne. Hodnota User-agent sa porovnáva bez ohľadu na veľkosť písmen, takže gptbot a GPTBot označujú tú istú skupinu. Cesty veľké a malé písmená rozlišujú, takže Disallow: /Private/ neblokuje /private/.
Čo kontroluje validátor robots.txt?
Validátor kontroluje, či je súbor dostupný, či sa posiela ako text a či má platnú syntax. Tester ide ďalej a dá verdikt pre konkrétnu URL a crawler. Zvyčajne potrebujete oboje, pretože aj platný súbor môže zablokovať stránku, ktorú ste chceli povoliť.
Ak má crawler vlastnú skupinu, riadi sa ešte User-agent: *?
Nie. Pomenovaná skupina pre daný crawler úplne nahrádza skupinu *. Každé pravidlo, ktoré má platiť pre všetkých, musíte zopakovať v každej pomenovanej skupine.
Zdroje
- Google Search Console Help: robots.txt report
- Search Engine Roundtable: New Google Search Console robots.txt report replaced robots.txt tester tool
- Google Search Central: How Google interprets the robots.txt specification
- Google Search Central: Create and submit a robots.txt file
- RFC 9309: Robots Exclusion Protocol
- GitHub: google/robotstxt
- Python documentation: urllib.robotparser
- CPython source: Lib/urllib/robotparser.py