Kako preizkusim pravila robots.txt za URL in določenega pajka?
Če želite URL preizkusiti za enega pajka, poiščite skupino, ki imenuje žeton pajka (ali User-agent: *, če ga nobena ne), zberite vsa pravila Allow in Disallow v njej, ki se ujemajo s potjo URL, in uporabite najdaljše; pri izenačenju zmaga Allow. To lahko naredite ročno, z Googlovim odprtokodnim razčlenjevalnikom ali s preverjanjem, ki pokaže odločitev za vsakega pajka. Googlovega starega orodja robots.txt Tester v Search Console ni več, poročilo robots.txt, ki ga je nadomestilo, pa pokaže, kaj je Google prenesel, ne odločitve za URL.
Datoteka robots.txt je videti preprosta, dokler ne potrebujete jasnega odgovora: ali sme GPTBot prenesti to stran in ali sme OAI-SearchBot? Odgovor je odvisen od tega, katero skupino pajek izbere in katero pravilo v tej skupini zmaga, oba koraka pa je lahko narediti narobe. Tu je opisano, kako deluje ujemanje po RFC 9309, štirje primeri in trije načini, kako datoteko preizkusite sami.
Na tej strani
- Kaj se je zgodilo z orodjem robots.txt Tester v Google Search Console?
- Kako pajek odloči, ali je URL dovoljen?
- Ali lahko pokažete primer preizkusa robots.txt?
- Kako zaženem Googlov odprtokodni razčlenjevalnik robots.txt?
- Ali lahko robots.txt preizkusim s Pythonovim urllib.robotparser?
- Zakaj preizkus robots.txt uspe, pajek pa je še vedno blokiran?
- Kako preverim robots.txt za vse pajke UI hkrati?
Kaj se je zgodilo z orodjem robots.txt Tester v Google Search Console?
Novembra 2023 je Google v Search Console dodal poročilo robots.txt in sporočil, da ukinja orodje robots.txt tester. Poročilo je pod Nastavitvami in pokriva samo Googlove pajke. Prikazuje:
- Datoteke robots.txt, ki jih je Google našel za 20 glavnih gostiteljev vaše lastnosti.
- Stanje prenosa vsake datoteke (
Fetched,Not Fetched - Not found (404)aliNot Fetched - Any other reason), kdaj jo je Google nazadnje preveril in njeno velikost v bajtih. - Težave v datoteki. Google pravi, da napake preprečijo uporabo pravila, opozorila pa ne.
- Različice, ki jih je Google prenesel v zadnjih 30 dneh, in gumb za zahtevo po ponovnem pajkanju, ko datoteko popravite.
Poročilo ne sprejme URL-ja in ne vrne odgovora dovoljeno ali blokirano. Za preverjanje enega URL-ja za Googlebot Google napotuje na orodje za pregled URL-jev, za lokalno preizkušanje pa na svojo odprtokodno knjižnico robots.txt. Nobeno od njiju ne pove ničesar o pajkih UI, kot sta GPTBot ali ClaudeBot.
Kako pajek odloči, ali je URL dovoljen?
Ujemanje opredeljuje RFC 9309, Robots Exclusion Protocol. Google enako vedenje dokumentira za svoje pajke.
- Izberite skupino. Ujemanje User-agent ne razlikuje velikih in malih črk. Če ena ali več skupin imenuje žeton pajka, se njihova pravila združijo, skupina
User-agent: *pa se v celoti prezre. Samo pajek brez imenovane skupine sledi*. - Izberite pravilo. Med pravili
AllowinDisallow, katerih pot se ujema z URL-jem, zmaga tisto z največ znaki. Če staAllowinDisallowenako dolga, naj zmagaAllow. - Preberite vzorce.
*se ujema s poljubnim zaporedjem znakov,$pa označuje konec URL-ja. Poti razlikujejo velike in male črke, zato se/Admin/ne ujema z/admin/. - Če se nobeno pravilo ne ujema, je dovoljeno. Sam
/robots.txtje vedno dovoljen.
Odzivna koda robots.txt je enako pomembna kot njegova pravila. Odziv 4xx pomeni, da sme pajek prenesti vse; Google vsak 4xx razen 429 obravnava, kot da datoteka ne obstaja. Odziv 5xx pomeni, da mora pajek domnevati, da je prepovedano celotno mesto. Google prvih 12 ur ustavi pajkanje, nato do 30 dni uporablja zadnjo dobro kopijo. RFC 9309 od pajkov zahteva, da razčlenijo vsaj 500 KiB, Google pa prezre vse po 500 KiB.
Ali lahko pokažete primer preizkusa robots.txt?
Tu je majhen robots.txt s privzeto skupino in dvema imenovanima pajkoma UI:
Googlebotin/search/help/billing: dovoljeno. Skupine za Googlebot ni, zato velja skupina*. Ujemata seDisallow: /searchinAllow: /search/help, praviloAllowpa je daljše.GPTBotin/blog/post: blokirano. GPTBot ima svojo skupino inDisallow: /se ujema z vsako potjo.OAI-SearchBotin/admin/settings: dovoljeno. OAI-SearchBot ima svojo skupino, zatoDisallow: /admin/iz skupine*zanj ne velja. To je najpogostejše presenečenje; skupna pravila ponovite v vsaki imenovani skupini.OAI-SearchBotin/files/report.pdf: blokirano.Allow: /se ujema z enim znakom,Disallow: /*.pdf$s sedmimi, in daljše pravilo zmaga.
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$ Izenačenja so redkejša, a sledijo isti logiki. Googlova dokumentacija navaja primer allow: /folder in disallow: /folder za URL /folder/page: obe pravili sta enako dolgi, zato je URL dovoljen.
Kako zaženem Googlov odprtokodni razčlenjevalnik robots.txt?
Google objavlja knjižnico C++, ki jo v produkciji uporablja za ujemanje pravil robots.txt, z majhnim programom za ukazno vrstico, ki preizkusi en URL in en user agent proti lokalni datoteki. Z nameščenim Bazelom:
git clone https://github.com/google/robotstxt.git robotstxt
cd robotstxt/
bazel build :robots_main
# arguments: local robots.txt file, crawler token, full URL
bazel run robots_main -- ~/robots.txt OAI-SearchBot https://example.com/files/report.pdf
# prints ALLOWED or DISALLOWED; exit code 0 means allowed, 1 means disallowed Repozitorij dokumentira tudi gradnjo s CMake, ki ustvari program z imenom robots z enakimi argumenti. Orodje samo razčlenjuje in ujema; robots.txt ne prenese, zato najprej shranite živo datoteko. Njegov README tudi navaja, da vedenje, specifično za pajke, zunaj razčlenjevanja in ujemanja ni del knjižnice.
Ali lahko robots.txt preizkusim s Pythonovim urllib.robotparser?
Pythonova standardna knjižnica vsebuje razčlenjevalnik, ki za user agent in URL odgovori dovoljeno ali blokirano. Ta skripta preizkusi zgornji primer:
from urllib.robotparser import RobotFileParser
# Paste the robots.txt you want to test, or fetch it yourself first
ROBOTS_TXT = """
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$
"""
tests = [
("Googlebot", "https://example.com/search/help/billing"),
("GPTBot", "https://example.com/blog/post"),
("OAI-SearchBot", "https://example.com/admin/settings"),
("OAI-SearchBot", "https://example.com/files/report.pdf"),
]
rp = RobotFileParser()
rp.parse(ROBOTS_TXT.splitlines())
for agent, url in tests:
print(f"{agent:15} {url} ->", "allowed" if rp.can_fetch(agent, url) else "blocked") Preden zaupate izpisu, preverite svojo različico Pythona. Podpora za ujemanje po RFC 9309 je bila v CPython dodana leta 2026 in je prvič izšla v Pythonu 3.13.14 in 3.14.5. Starejše izdaje, vključno z vsemi 3.12 in starejšimi, uporabijo prvo ujemajoče se pravilo v vrstnem redu datoteke, ne najdaljšega, in ne razumejo * ali $ v poteh. V teh različicah skripta prvi in četrti preizkus poroča ravno obratno: Googlebot blokiran za /search/help/billing in OAI-SearchBot s dovoljenjem za prenos datoteke PDF.
Za vse različice veljata še dve razliki. RobotFileParser.read() odziv 401 ali 403 za robots.txt obravnava kot prepoved vsega, RFC 9309 pa pravi, da 4xx pomeni, da se sme prenesti vse. Poleg tega read() datoteko prenese s Pythonovim privzetim user agentom, ki ga nekateri požarni zidovi blokirajo, zato lahko preizkus poroča blokirano iz razlogov, ki niso povezani z vašimi pravili. Če datoteko prenesete sami in jo podate v parse(), kot zgoraj, se izognete obojemu.
Zakaj preizkus robots.txt uspe, pajek pa je še vedno blokiran?
Tester odgovori na eno vprašanje: ali pravila dovoljujejo ta URL? Več stvari je zunaj tega odgovora:
- Živa datoteka se razlikuje od tiste, ki ste jo preizkusili, ali pa pajek še uporablja predpomnjeno kopijo. RFC 9309 pravi, da pajki predpomnjene kopije ne bi smeli uporabljati več kot 24 ur, Google pa na splošno predpomni do 24 ur.
- URL robots.txt vrne stran HTML ali napako. Stran HTML s statusom 200 ne vsebuje veljavnih pravil, odziv 5xx pa blokira celotno mesto.
- robots.txt je prošnja, ne nadzor dostopa. Požarni zid, CDN ali zaščita pred boti lahko pajku še vedno odgovori z napako 403 ali s stranjo z izzivom.
Kako preverim robots.txt za vse pajke UI hkrati?
Brezplačno preverjanje robots.txt AISeeWhy sprejme naslov strani ali prilepljen robots.txt in za vsakega pajka UI in iskalnika pokaže, ali sme to stran prenesti. Brezplačni generator robots.txt napiše datoteko po vaših izbirah, brezplačna analiza pa stran prenese kot 16 pajkov in pokaže, ali požarni zid blokira, kar robots.txt dovoljuje.
Popravki za to težavo
- robots.txt dovoli GPTBot, strežnik pa ga blokira
- robots.txt prepoveduje OAI-SearchBot
- robots.txt je stran HTML
- robots.txt ni mogoče prenesti
Naslednji koraki
- Tester in preverjanje robots.txt za pajke UI
- Oglejte si primer celotnega poročila
- Spremljanje pajkov UI
- Paketi in cene
Pajki v tem članku
Pogosta vprašanja
Ali je v Google Search Console še vedno tester robots.txt?
Ne. Google ga je novembra 2023 nadomestil s poročilom robots.txt, ki pokaže datoteke, ki jih je Google prenesel, njihovo stanje in morebitne napake. Če želite preveriti, ali sme Googlebot pajkati določen URL, uporabite orodje za pregled URL-jev.
Ali Allow v robots.txt prevlada nad Disallow?
Samo kadar je pravilo Allow daljše ali natanko enako dolgo. Zmaga pravilo z najdaljšo ujemajočo se potjo, ne glede na vrsto, pri izenačenju pa zmaga Allow.
Ali robots.txt razlikuje velike in male črke?
Delno. Vrednost User-agent se ujema ne glede na velikost črk, zato gptbot in GPTBot imenujeta isto skupino. Poti razlikujejo velike in male črke, zato Disallow: /Private/ ne blokira /private/.
Kaj preveri validator robots.txt?
Validator preveri, ali je datoteka dosegljiva, postrežena kot besedilo in napisana v veljavni sintaksi. Tester gre dlje in poda odločitev za določen URL in pajka. Običajno potrebujete oboje, ker lahko veljavna datoteka še vedno blokira stran, ki ste jo želeli dovoliti.
Ali pajek z lastno skupino še vedno sledi User-agent: *?
Ne. Imenovana skupina za tega pajka v celoti nadomesti skupino *. Vsako pravilo, ki naj velja za vse, morate ponoviti v vsaki imenovani skupini.
Viri
- Google Search Console Help: robots.txt report
- Search Engine Roundtable: New Google Search Console robots.txt report replaced robots.txt tester tool
- Google Search Central: How Google interprets the robots.txt specification
- Google Search Central: Create and submit a robots.txt file
- RFC 9309: Robots Exclusion Protocol
- GitHub: google/robotstxt
- Python documentation: urllib.robotparser
- CPython source: Lib/urllib/robotparser.py