Hogyan teszteljem a robots.txt szabályait egy URL-re és egy adott crawlerre?
Egy URL egy crawlerre való teszteléséhez keresse meg azt a csoportot, amely a crawler tokenjét nevezi meg (vagy a User-agent: * csoportot, ha egyik sem), gyűjtse össze benne az összes Allow és Disallow szabályt, amely illeszkedik az URL útvonalára, és a leghosszabbat alkalmazza; egyenlő hossznál az Allow nyer. Ezt elvégezheti kézzel, a Google nyílt forráskódú parserével, vagy egy olyan ellenőrzővel, amely crawlerenként ad ítéletet. A Search Console régi robots.txt-tesztelője megszűnt, és a helyette érkezett robots.txt-jelentés azt mutatja, mit töltött le a Google, nem pedig ítéletet egy URL-re.
Egy robots.txt fájl egyszerűnek tűnik, amíg nem kell egyértelmű válasz: letöltheti-e ezt az oldalt a GPTBot, és az OAI-SearchBot? A válasz azon múlik, melyik csoportot választja a crawler, és melyik szabály nyer a csoporton belül, és mindkét lépést könnyű elrontani. Az alábbiakban bemutatjuk, hogyan működik az egyeztetés az RFC 9309 szerint, négy kidolgozott példát, és három módot arra, hogyan tesztelheti a fájlt saját maga.
Ezen az oldalon
- Mi lett a Google Search Console robots.txt-tesztelőjével?
- Hogyan dönti el a crawler, hogy egy URL engedélyezett-e?
- Végigvennénk egy robots.txt-tesztpéldát?
- Hogyan futtassam a Google nyílt forráskódú robots.txt-parserét?
- Tesztelhetem a robots.txt-t a Python urllib.robotparser moduljával?
- Miért megy át a robots.txt-teszt, miközben a crawler továbbra is blokkolva van?
- Hogyan ellenőrizhetem a robots.txt-t egyszerre minden AI-crawlerre?
Mi lett a Google Search Console robots.txt-tesztelőjével?
2023 novemberében a Google robots.txt-jelentést adott a Search Console-hoz, és bejelentette, hogy kivezeti a robots.txt-tesztelőt. A jelentés a Beállítások alatt található, és csak a Google crawlereire vonatkozik. Ezt mutatja:
- A Google által a tulajdon 20 legfontosabb gazdagépéhez talált robots.txt fájlokat.
- Az egyes fájlok letöltési állapotát (
Fetched,Not Fetched - Not found (404)vagyNot Fetched - Any other reason), azt, hogy a Google mikor ellenőrizte utoljára, és a méretét bájtban. - A fájl problémáit. A Google szerint a hibák megakadályozzák egy szabály használatát, a figyelmeztetések nem.
- A Google által az elmúlt 30 napban letöltött verziókat, és egy gombot, amellyel a fájl javítása után újbóli feltérképezést kérhet.
A jelentés nem fogad URL-t, és nem válaszol azzal, hogy engedélyezett vagy blokkolt. Egy URL Googlebotra való ellenőrzéséhez a Google az URL-ellenőrző eszközt ajánlja, helyi teszteléshez pedig a nyílt forráskódú robots.txt-könyvtárát. Egyik sem mond semmit az olyan AI-crawlerekről, mint a GPTBot vagy a ClaudeBot.
Hogyan dönti el a crawler, hogy egy URL engedélyezett-e?
Az egyeztetést az RFC 9309, a Robots Exclusion Protocol határozza meg. A Google ugyanezt a viselkedést dokumentálja a saját crawlereinél.
- Csoport kiválasztása. A User-agent egyeztetése nem tesz különbséget kis- és nagybetű között. Ha egy vagy több csoport megnevezi a crawler tokenjét, ezek szabályai összeadódnak, és a
User-agent: *csoportot teljesen figyelmen kívül hagyja. Csak a saját csoport nélküli crawler követi a*csoportot. - Szabály kiválasztása. Az URL-re illeszkedő útvonalú
AllowésDisallowszabályok közül a legtöbb karakterből álló nyer. Ha egyAllowés egyDisallowegyforma hosszú, azAllow-nak kell nyernie. - Minták értelmezése. A
*tetszőleges karaktersorozatra illeszkedik, a$az URL végét jelöli. Az útvonalak kis- és nagybetűérzékenyek, így a/Admin/nem illeszkedik a/admin/útvonalra. - Ha nincs illeszkedő szabály, az engedélyezést jelent. Maga a
/robots.txtmindig engedélyezett.
A robots.txt válaszkódja ugyanannyit számít, mint a szabályai. A 4xx válasz azt jelenti, hogy a crawler mindent letölthet; a Google a 429 kivételével minden 4xx-et úgy kezel, mintha nem létezne fájl. Az 5xx válasz azt jelenti, hogy a crawlernek az egész webhelyet tiltottnak kell tekintenie. A Google az első 12 órában leállítja a feltérképezést, majd legfeljebb 30 napig az utolsó jó másolatot használja. Az RFC 9309 előírja, hogy a crawlerek legalább 500 KiB-ot dolgozzanak fel, a Google pedig az 500 KiB utáni részt figyelmen kívül hagyja.
Végigvennénk egy robots.txt-tesztpéldát?
Íme egy kis robots.txt egy alapértelmezett csoporttal és két megnevezett AI-crawlerrel:
Googlebotés/search/help/billing: engedélyezett. Nincs Googlebot-csoport, így a*csoport érvényes. ADisallow: /searchés azAllow: /search/helpis illeszkedik, és azAllowszabály a hosszabb.GPTBotés/blog/post: blokkolt. A GPTBot-nak saját csoportja van, és aDisallow: /minden útvonalra illeszkedik.OAI-SearchBotés/admin/settings: engedélyezett. Az OAI-SearchBot-nak saját csoportja van, így a*csoportban lévőDisallow: /admin/nem vonatkozik rá. Ez a leggyakoribb meglepetés; a közös szabályokat ismételje meg minden megnevezett csoportban.OAI-SearchBotés/files/report.pdf: blokkolt. AzAllow: /egy karakterrel illeszkedik, aDisallow: /*.pdf$héttel, és a hosszabb szabály nyer.
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$ Döntetlen ritkábban fordul elő, de ugyanígy működik. A Google dokumentációja az allow: /folder és disallow: /folder esetét hozza a /folder/page URL-re: mindkettő ugyanolyan hosszú, így az URL engedélyezett.
Hogyan futtassam a Google nyílt forráskódú robots.txt-parserét?
A Google közzéteszi azt a C++ könyvtárat, amelyet élesben használ a robots.txt-szabályok egyeztetésére, egy kis parancssori programmal együtt, amellyel egy URL-t és egy user agentet tesztelhet egy helyi fájllal szemben. Telepített Bazellel:
git clone https://github.com/google/robotstxt.git robotstxt
cd robotstxt/
bazel build :robots_main
# arguments: local robots.txt file, crawler token, full URL
bazel run robots_main -- ~/robots.txt OAI-SearchBot https://example.com/files/report.pdf
# prints ALLOWED or DISALLOWED; exit code 0 means allowed, 1 means disallowed A tároló CMake-alapú buildet is leír, amely egy robots nevű, ugyanilyen argumentumokat fogadó binárist készít. Az eszköz csak elemez és egyeztet; a robots.txt-t nem tölti le, ezért előbb mentse el az élő fájlt. A README azt is megjegyzi, hogy az elemzésen és egyeztetésen túli, crawlerspecifikus viselkedés nem része a könyvtárnak.
Tesztelhetem a robots.txt-t a Python urllib.robotparser moduljával?
A Python standard könyvtára tartalmaz egy parsert, amely user agentre és URL-re engedélyezett vagy blokkolt választ ad. Ez a szkript a fenti példát teszteli:
from urllib.robotparser import RobotFileParser
# Paste the robots.txt you want to test, or fetch it yourself first
ROBOTS_TXT = """
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$
"""
tests = [
("Googlebot", "https://example.com/search/help/billing"),
("GPTBot", "https://example.com/blog/post"),
("OAI-SearchBot", "https://example.com/admin/settings"),
("OAI-SearchBot", "https://example.com/files/report.pdf"),
]
rp = RobotFileParser()
rp.parse(ROBOTS_TXT.splitlines())
for agent, url in tests:
print(f"{agent:15} {url} ->", "allowed" if rp.can_fetch(agent, url) else "blocked") Mielőtt megbízna a kimenetben, ellenőrizze a Python verzióját. Az RFC 9309 szerinti egyeztetés támogatása 2026-ban került a CPythonba, és először a Python 3.13.14 és 3.14.5 kiadásokban jelent meg. A régebbi kiadások, köztük a teljes 3.12-es és a korábbi sorozatok, a fájlban elsőként illeszkedő szabályt alkalmazzák, nem a leghosszabbat, és nem értik az útvonalakban lévő * és $ jelet. Ezeken a verziókon a szkript az első és a negyedik tesztet fordítva jelenti: a Googlebot blokkolva a /search/help/billing útvonalról, az OAI-SearchBot pedig letöltheti a PDF-et.
Két további különbség minden verzióra érvényes. A RobotFileParser.read() a robots.txt-re adott 401-es vagy 403-as választ teljes tiltásként kezeli, míg az RFC 9309 szerint a 4xx azt jelenti, hogy minden letölthető. A read() ráadásul a Python alapértelmezett user agentjével tölti le a fájlt, amelyet egyes tűzfalak blokkolnak, így a teszt a szabályaitól független okokból is blokkolást jelezhet. Ha a fájlt maga tölti le, és a parse() függvénynek adja át, ahogy fent, mindkettőt elkerüli.
Miért megy át a robots.txt-teszt, miközben a crawler továbbra is blokkolva van?
A tesztelő egyetlen kérdésre válaszol: engedik-e a szabályok ezt az URL-t? Több dolog kívül esik ezen a válaszon:
- Az élő fájl eltér attól, amelyet tesztelt, vagy a crawler még gyorsítótárazott másolatot használ. Az RFC 9309 szerint a crawlerek ne használjanak 24 óránál régebbi gyorsítótárazott másolatot, és a Google általában legfeljebb 24 órán át gyorsítótáraz.
- A robots.txt URL-je HTML-oldalt vagy hibát ad vissza. Egy 200-as állapotú HTML-oldalban nincsenek érvényes szabályok, az 5xx válasz pedig az egész webhelyet blokkolja.
- A robots.txt kérés, nem hozzáférés-szabályozás. Egy tűzfal, CDN vagy botvédelem ettől még 403-mal vagy kihívásoldallal válaszolhat a crawlernek.
Hogyan ellenőrizhetem a robots.txt-t egyszerre minden AI-crawlerre?
Az ingyenes AISeeWhy robots.txt-ellenőrző egy oldalcímet vagy beillesztett robots.txt-t fogad, és minden AI- és keresőcrawlerre megmutatja, letöltheti-e az oldalt. Az ingyenes robots.txt-generátor az Ön választásai alapján megírja a fájlt, az ingyenes ellenőrzés pedig 16 crawlerként tölti le az oldalt, hogy kiderüljön, blokkol-e a tűzfal olyat, amit a robots.txt enged.
Javítások erre a problémára
- A robots.txt engedi a(z) GPTBot botot, de a szerver blokkolja
- A robots.txt tiltja a(z) OAI-SearchBot botot
- A robots.txt egy HTML-oldal
- A robots.txt nem érhető el
Következő lépések
- robots.txt tesztelő és ellenőrző AI-crawlerekhez
- Nézzen meg egy teljes jelentést példaként
- AI-crawler-figyelés
- Csomagok és árak
A cikkben szereplő crawlerek
Gyakran ismételt kérdések
Van még robots.txt-tesztelő a Google Search Console-ban?
Nincs. A Google 2023 novemberében a robots.txt-jelentéssel váltotta fel, amely a Google által letöltött fájlokat, azok állapotát és hibáit mutatja. Annak ellenőrzéséhez, hogy a Googlebot feltérképezhet-e egy adott URL-t, használja az URL-ellenőrző eszközt.
Felülírja az Allow a Disallow szabályt a robots.txt-ben?
Csak ha az Allow szabály hosszabb vagy pontosan ugyanolyan hosszú. A leghosszabb illeszkedő útvonalú szabály nyer, akármilyen fajta, döntetlennél pedig az Allow.
Kis- és nagybetűérzékeny a robots.txt?
Részben. A User-agent értékét kis- és nagybetűtől függetlenül egyezteti, így a gptbot és a GPTBot ugyanazt a csoportot nevezi meg. Az útvonalak viszont kis- és nagybetűérzékenyek, így a Disallow: /Private/ nem blokkolja a /private/ útvonalat.
Mit ellenőriz egy robots.txt-validátor?
A validátor azt ellenőrzi, hogy a fájl elérhető-e, szövegként szolgálják-e ki, és érvényes-e a szintaxisa. A tesztelő ennél tovább megy, és ítéletet ad egy adott URL-re és crawlerre. Általában mindkettőre szüksége van, mert egy érvényes fájl is blokkolhat olyan oldalt, amelyet engedélyezni akart.
Ha egy crawlernek saját csoportja van, követi még a User-agent: * csoportot?
Nem. A megnevezett csoport teljesen felváltja a * csoportot az adott crawlernél. Minden szabályt, amelyet mindenkire alkalmazni szeretne, meg kell ismételni minden megnevezett csoportban.
Források
- Google Search Console Help: robots.txt report
- Search Engine Roundtable: New Google Search Console robots.txt report replaced robots.txt tester tool
- Google Search Central: How Google interprets the robots.txt specification
- Google Search Central: Create and submit a robots.txt file
- RFC 9309: Robots Exclusion Protocol
- GitHub: google/robotstxt
- Python documentation: urllib.robotparser
- CPython source: Lib/urllib/robotparser.py