Kako preizkusim pravila robots.txt za URL in določenega pajka?

Objavljeno

Kratek odgovor

Če želite URL preizkusiti za enega pajka, poiščite skupino, ki imenuje žeton pajka (ali User-agent: *, če ga nobena ne), zberite vsa pravila Allow in Disallow v njej, ki se ujemajo s potjo URL, in uporabite najdaljše; pri izenačenju zmaga Allow. To lahko naredite ročno, z Googlovim odprtokodnim razčlenjevalnikom ali s preverjanjem, ki pokaže odločitev za vsakega pajka. Googlovega starega orodja robots.txt Tester v Search Console ni več, poročilo robots.txt, ki ga je nadomestilo, pa pokaže, kaj je Google prenesel, ne odločitve za URL.

Datoteka robots.txt je videti preprosta, dokler ne potrebujete jasnega odgovora: ali sme GPTBot prenesti to stran in ali sme OAI-SearchBot? Odgovor je odvisen od tega, katero skupino pajek izbere in katero pravilo v tej skupini zmaga, oba koraka pa je lahko narediti narobe. Tu je opisano, kako deluje ujemanje po RFC 9309, štirje primeri in trije načini, kako datoteko preizkusite sami.

Na tej strani
  1. Kaj se je zgodilo z orodjem robots.txt Tester v Google Search Console?
  2. Kako pajek odloči, ali je URL dovoljen?
  3. Ali lahko pokažete primer preizkusa robots.txt?
  4. Kako zaženem Googlov odprtokodni razčlenjevalnik robots.txt?
  5. Ali lahko robots.txt preizkusim s Pythonovim urllib.robotparser?
  6. Zakaj preizkus robots.txt uspe, pajek pa je še vedno blokiran?
  7. Kako preverim robots.txt za vse pajke UI hkrati?

Kaj se je zgodilo z orodjem robots.txt Tester v Google Search Console?

Novembra 2023 je Google v Search Console dodal poročilo robots.txt in sporočil, da ukinja orodje robots.txt tester. Poročilo je pod Nastavitvami in pokriva samo Googlove pajke. Prikazuje:

Poročilo ne sprejme URL-ja in ne vrne odgovora dovoljeno ali blokirano. Za preverjanje enega URL-ja za Googlebot Google napotuje na orodje za pregled URL-jev, za lokalno preizkušanje pa na svojo odprtokodno knjižnico robots.txt. Nobeno od njiju ne pove ničesar o pajkih UI, kot sta GPTBot ali ClaudeBot.

Kako pajek odloči, ali je URL dovoljen?

Ujemanje opredeljuje RFC 9309, Robots Exclusion Protocol. Google enako vedenje dokumentira za svoje pajke.

Odzivna koda robots.txt je enako pomembna kot njegova pravila. Odziv 4xx pomeni, da sme pajek prenesti vse; Google vsak 4xx razen 429 obravnava, kot da datoteka ne obstaja. Odziv 5xx pomeni, da mora pajek domnevati, da je prepovedano celotno mesto. Google prvih 12 ur ustavi pajkanje, nato do 30 dni uporablja zadnjo dobro kopijo. RFC 9309 od pajkov zahteva, da razčlenijo vsaj 500 KiB, Google pa prezre vse po 500 KiB.

Ali lahko pokažete primer preizkusa robots.txt?

Tu je majhen robots.txt s privzeto skupino in dvema imenovanima pajkoma UI:

User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$

Izenačenja so redkejša, a sledijo isti logiki. Googlova dokumentacija navaja primer allow: /folder in disallow: /folder za URL /folder/page: obe pravili sta enako dolgi, zato je URL dovoljen.

Kako zaženem Googlov odprtokodni razčlenjevalnik robots.txt?

Google objavlja knjižnico C++, ki jo v produkciji uporablja za ujemanje pravil robots.txt, z majhnim programom za ukazno vrstico, ki preizkusi en URL in en user agent proti lokalni datoteki. Z nameščenim Bazelom:

git clone https://github.com/google/robotstxt.git robotstxt
cd robotstxt/
bazel build :robots_main
# arguments: local robots.txt file, crawler token, full URL
bazel run robots_main -- ~/robots.txt OAI-SearchBot https://example.com/files/report.pdf
# prints ALLOWED or DISALLOWED; exit code 0 means allowed, 1 means disallowed

Repozitorij dokumentira tudi gradnjo s CMake, ki ustvari program z imenom robots z enakimi argumenti. Orodje samo razčlenjuje in ujema; robots.txt ne prenese, zato najprej shranite živo datoteko. Njegov README tudi navaja, da vedenje, specifično za pajke, zunaj razčlenjevanja in ujemanja ni del knjižnice.

Ali lahko robots.txt preizkusim s Pythonovim urllib.robotparser?

Pythonova standardna knjižnica vsebuje razčlenjevalnik, ki za user agent in URL odgovori dovoljeno ali blokirano. Ta skripta preizkusi zgornji primer:

from urllib.robotparser import RobotFileParser

# Paste the robots.txt you want to test, or fetch it yourself first
ROBOTS_TXT = """
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$
"""

tests = [
    ("Googlebot", "https://example.com/search/help/billing"),
    ("GPTBot", "https://example.com/blog/post"),
    ("OAI-SearchBot", "https://example.com/admin/settings"),
    ("OAI-SearchBot", "https://example.com/files/report.pdf"),
]

rp = RobotFileParser()
rp.parse(ROBOTS_TXT.splitlines())
for agent, url in tests:
    print(f"{agent:15} {url}  ->", "allowed" if rp.can_fetch(agent, url) else "blocked")

Preden zaupate izpisu, preverite svojo različico Pythona. Podpora za ujemanje po RFC 9309 je bila v CPython dodana leta 2026 in je prvič izšla v Pythonu 3.13.14 in 3.14.5. Starejše izdaje, vključno z vsemi 3.12 in starejšimi, uporabijo prvo ujemajoče se pravilo v vrstnem redu datoteke, ne najdaljšega, in ne razumejo * ali $ v poteh. V teh različicah skripta prvi in četrti preizkus poroča ravno obratno: Googlebot blokiran za /search/help/billing in OAI-SearchBot s dovoljenjem za prenos datoteke PDF.

Za vse različice veljata še dve razliki. RobotFileParser.read() odziv 401 ali 403 za robots.txt obravnava kot prepoved vsega, RFC 9309 pa pravi, da 4xx pomeni, da se sme prenesti vse. Poleg tega read() datoteko prenese s Pythonovim privzetim user agentom, ki ga nekateri požarni zidovi blokirajo, zato lahko preizkus poroča blokirano iz razlogov, ki niso povezani z vašimi pravili. Če datoteko prenesete sami in jo podate v parse(), kot zgoraj, se izognete obojemu.

Zakaj preizkus robots.txt uspe, pajek pa je še vedno blokiran?

Tester odgovori na eno vprašanje: ali pravila dovoljujejo ta URL? Več stvari je zunaj tega odgovora:

Kako preverim robots.txt za vse pajke UI hkrati?

Brezplačno preverjanje robots.txt AISeeWhy sprejme naslov strani ali prilepljen robots.txt in za vsakega pajka UI in iskalnika pokaže, ali sme to stran prenesti. Brezplačni generator robots.txt napiše datoteko po vaših izbirah, brezplačna analiza pa stran prenese kot 16 pajkov in pokaže, ali požarni zid blokira, kar robots.txt dovoljuje.

Popravki za to težavo

Brezplačna orodja

Naslednji koraki

Pajki v tem članku

Pogosta vprašanja

Ali je v Google Search Console še vedno tester robots.txt?

Ne. Google ga je novembra 2023 nadomestil s poročilom robots.txt, ki pokaže datoteke, ki jih je Google prenesel, njihovo stanje in morebitne napake. Če želite preveriti, ali sme Googlebot pajkati določen URL, uporabite orodje za pregled URL-jev.

Ali Allow v robots.txt prevlada nad Disallow?

Samo kadar je pravilo Allow daljše ali natanko enako dolgo. Zmaga pravilo z najdaljšo ujemajočo se potjo, ne glede na vrsto, pri izenačenju pa zmaga Allow.

Ali robots.txt razlikuje velike in male črke?

Delno. Vrednost User-agent se ujema ne glede na velikost črk, zato gptbot in GPTBot imenujeta isto skupino. Poti razlikujejo velike in male črke, zato Disallow: /Private/ ne blokira /private/.

Kaj preveri validator robots.txt?

Validator preveri, ali je datoteka dosegljiva, postrežena kot besedilo in napisana v veljavni sintaksi. Tester gre dlje in poda odločitev za določen URL in pajka. Običajno potrebujete oboje, ker lahko veljavna datoteka še vedno blokira stran, ki ste jo želeli dovoliti.

Ali pajek z lastno skupino še vedno sledi User-agent: *?

Ne. Imenovana skupina za tega pajka v celoti nadomesti skupino *. Vsako pravilo, ki naj velja za vse, morate ponoviti v vsaki imenovani skupini.

Viri

Več člankov