Hogyan teszteljem a robots.txt szabályait egy URL-re és egy adott crawlerre?

Megjelent

Rövid válasz

Egy URL egy crawlerre való teszteléséhez keresse meg azt a csoportot, amely a crawler tokenjét nevezi meg (vagy a User-agent: * csoportot, ha egyik sem), gyűjtse össze benne az összes Allow és Disallow szabályt, amely illeszkedik az URL útvonalára, és a leghosszabbat alkalmazza; egyenlő hossznál az Allow nyer. Ezt elvégezheti kézzel, a Google nyílt forráskódú parserével, vagy egy olyan ellenőrzővel, amely crawlerenként ad ítéletet. A Search Console régi robots.txt-tesztelője megszűnt, és a helyette érkezett robots.txt-jelentés azt mutatja, mit töltött le a Google, nem pedig ítéletet egy URL-re.

Egy robots.txt fájl egyszerűnek tűnik, amíg nem kell egyértelmű válasz: letöltheti-e ezt az oldalt a GPTBot, és az OAI-SearchBot? A válasz azon múlik, melyik csoportot választja a crawler, és melyik szabály nyer a csoporton belül, és mindkét lépést könnyű elrontani. Az alábbiakban bemutatjuk, hogyan működik az egyeztetés az RFC 9309 szerint, négy kidolgozott példát, és három módot arra, hogyan tesztelheti a fájlt saját maga.

Ezen az oldalon
  1. Mi lett a Google Search Console robots.txt-tesztelőjével?
  2. Hogyan dönti el a crawler, hogy egy URL engedélyezett-e?
  3. Végigvennénk egy robots.txt-tesztpéldát?
  4. Hogyan futtassam a Google nyílt forráskódú robots.txt-parserét?
  5. Tesztelhetem a robots.txt-t a Python urllib.robotparser moduljával?
  6. Miért megy át a robots.txt-teszt, miközben a crawler továbbra is blokkolva van?
  7. Hogyan ellenőrizhetem a robots.txt-t egyszerre minden AI-crawlerre?

Mi lett a Google Search Console robots.txt-tesztelőjével?

2023 novemberében a Google robots.txt-jelentést adott a Search Console-hoz, és bejelentette, hogy kivezeti a robots.txt-tesztelőt. A jelentés a Beállítások alatt található, és csak a Google crawlereire vonatkozik. Ezt mutatja:

A jelentés nem fogad URL-t, és nem válaszol azzal, hogy engedélyezett vagy blokkolt. Egy URL Googlebotra való ellenőrzéséhez a Google az URL-ellenőrző eszközt ajánlja, helyi teszteléshez pedig a nyílt forráskódú robots.txt-könyvtárát. Egyik sem mond semmit az olyan AI-crawlerekről, mint a GPTBot vagy a ClaudeBot.

Hogyan dönti el a crawler, hogy egy URL engedélyezett-e?

Az egyeztetést az RFC 9309, a Robots Exclusion Protocol határozza meg. A Google ugyanezt a viselkedést dokumentálja a saját crawlereinél.

A robots.txt válaszkódja ugyanannyit számít, mint a szabályai. A 4xx válasz azt jelenti, hogy a crawler mindent letölthet; a Google a 429 kivételével minden 4xx-et úgy kezel, mintha nem létezne fájl. Az 5xx válasz azt jelenti, hogy a crawlernek az egész webhelyet tiltottnak kell tekintenie. A Google az első 12 órában leállítja a feltérképezést, majd legfeljebb 30 napig az utolsó jó másolatot használja. Az RFC 9309 előírja, hogy a crawlerek legalább 500 KiB-ot dolgozzanak fel, a Google pedig az 500 KiB utáni részt figyelmen kívül hagyja.

Végigvennénk egy robots.txt-tesztpéldát?

Íme egy kis robots.txt egy alapértelmezett csoporttal és két megnevezett AI-crawlerrel:

User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$

Döntetlen ritkábban fordul elő, de ugyanígy működik. A Google dokumentációja az allow: /folder és disallow: /folder esetét hozza a /folder/page URL-re: mindkettő ugyanolyan hosszú, így az URL engedélyezett.

Hogyan futtassam a Google nyílt forráskódú robots.txt-parserét?

A Google közzéteszi azt a C++ könyvtárat, amelyet élesben használ a robots.txt-szabályok egyeztetésére, egy kis parancssori programmal együtt, amellyel egy URL-t és egy user agentet tesztelhet egy helyi fájllal szemben. Telepített Bazellel:

git clone https://github.com/google/robotstxt.git robotstxt
cd robotstxt/
bazel build :robots_main
# arguments: local robots.txt file, crawler token, full URL
bazel run robots_main -- ~/robots.txt OAI-SearchBot https://example.com/files/report.pdf
# prints ALLOWED or DISALLOWED; exit code 0 means allowed, 1 means disallowed

A tároló CMake-alapú buildet is leír, amely egy robots nevű, ugyanilyen argumentumokat fogadó binárist készít. Az eszköz csak elemez és egyeztet; a robots.txt-t nem tölti le, ezért előbb mentse el az élő fájlt. A README azt is megjegyzi, hogy az elemzésen és egyeztetésen túli, crawlerspecifikus viselkedés nem része a könyvtárnak.

Tesztelhetem a robots.txt-t a Python urllib.robotparser moduljával?

A Python standard könyvtára tartalmaz egy parsert, amely user agentre és URL-re engedélyezett vagy blokkolt választ ad. Ez a szkript a fenti példát teszteli:

from urllib.robotparser import RobotFileParser

# Paste the robots.txt you want to test, or fetch it yourself first
ROBOTS_TXT = """
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$
"""

tests = [
    ("Googlebot", "https://example.com/search/help/billing"),
    ("GPTBot", "https://example.com/blog/post"),
    ("OAI-SearchBot", "https://example.com/admin/settings"),
    ("OAI-SearchBot", "https://example.com/files/report.pdf"),
]

rp = RobotFileParser()
rp.parse(ROBOTS_TXT.splitlines())
for agent, url in tests:
    print(f"{agent:15} {url}  ->", "allowed" if rp.can_fetch(agent, url) else "blocked")

Mielőtt megbízna a kimenetben, ellenőrizze a Python verzióját. Az RFC 9309 szerinti egyeztetés támogatása 2026-ban került a CPythonba, és először a Python 3.13.14 és 3.14.5 kiadásokban jelent meg. A régebbi kiadások, köztük a teljes 3.12-es és a korábbi sorozatok, a fájlban elsőként illeszkedő szabályt alkalmazzák, nem a leghosszabbat, és nem értik az útvonalakban lévő * és $ jelet. Ezeken a verziókon a szkript az első és a negyedik tesztet fordítva jelenti: a Googlebot blokkolva a /search/help/billing útvonalról, az OAI-SearchBot pedig letöltheti a PDF-et.

Két további különbség minden verzióra érvényes. A RobotFileParser.read() a robots.txt-re adott 401-es vagy 403-as választ teljes tiltásként kezeli, míg az RFC 9309 szerint a 4xx azt jelenti, hogy minden letölthető. A read() ráadásul a Python alapértelmezett user agentjével tölti le a fájlt, amelyet egyes tűzfalak blokkolnak, így a teszt a szabályaitól független okokból is blokkolást jelezhet. Ha a fájlt maga tölti le, és a parse() függvénynek adja át, ahogy fent, mindkettőt elkerüli.

Miért megy át a robots.txt-teszt, miközben a crawler továbbra is blokkolva van?

A tesztelő egyetlen kérdésre válaszol: engedik-e a szabályok ezt az URL-t? Több dolog kívül esik ezen a válaszon:

Hogyan ellenőrizhetem a robots.txt-t egyszerre minden AI-crawlerre?

Az ingyenes AISeeWhy robots.txt-ellenőrző egy oldalcímet vagy beillesztett robots.txt-t fogad, és minden AI- és keresőcrawlerre megmutatja, letöltheti-e az oldalt. Az ingyenes robots.txt-generátor az Ön választásai alapján megírja a fájlt, az ingyenes ellenőrzés pedig 16 crawlerként tölti le az oldalt, hogy kiderüljön, blokkol-e a tűzfal olyat, amit a robots.txt enged.

Javítások erre a problémára

Ingyenes eszközök

Következő lépések

A cikkben szereplő crawlerek

Gyakran ismételt kérdések

Van még robots.txt-tesztelő a Google Search Console-ban?

Nincs. A Google 2023 novemberében a robots.txt-jelentéssel váltotta fel, amely a Google által letöltött fájlokat, azok állapotát és hibáit mutatja. Annak ellenőrzéséhez, hogy a Googlebot feltérképezhet-e egy adott URL-t, használja az URL-ellenőrző eszközt.

Felülírja az Allow a Disallow szabályt a robots.txt-ben?

Csak ha az Allow szabály hosszabb vagy pontosan ugyanolyan hosszú. A leghosszabb illeszkedő útvonalú szabály nyer, akármilyen fajta, döntetlennél pedig az Allow.

Kis- és nagybetűérzékeny a robots.txt?

Részben. A User-agent értékét kis- és nagybetűtől függetlenül egyezteti, így a gptbot és a GPTBot ugyanazt a csoportot nevezi meg. Az útvonalak viszont kis- és nagybetűérzékenyek, így a Disallow: /Private/ nem blokkolja a /private/ útvonalat.

Mit ellenőriz egy robots.txt-validátor?

A validátor azt ellenőrzi, hogy a fájl elérhető-e, szövegként szolgálják-e ki, és érvényes-e a szintaxisa. A tesztelő ennél tovább megy, és ítéletet ad egy adott URL-re és crawlerre. Általában mindkettőre szüksége van, mert egy érvényes fájl is blokkolhat olyan oldalt, amelyet engedélyezni akart.

Ha egy crawlernek saját csoportja van, követi még a User-agent: * csoportot?

Nem. A megnevezett csoport teljesen felváltja a * csoportot az adott crawlernél. Minden szabályt, amelyet mindenkire alkalmazni szeretne, meg kell ismételni minden megnevezett csoportban.

Források

További cikkek