Kuidas testida robots.txt reegleid URL-i ja kindla roboti jaoks?

Avaldatud

Lühike vastus

URL-i testimiseks ühe roboti jaoks leia rühm, mis nimetab roboti tunnust (või User-agent: *, kui ükski ei nimeta), kogu sellest rühmast kokku kõik Allow ja Disallow reeglid, mis URL-i teele vastavad, ja rakenda pikimat; viigi korral võidab Allow. Seda saab teha käsitsi, Google'i avatud lähtekoodiga parseriga või kontrollijaga, mis näitab otsust iga roboti kohta. Google'i vana robots.txt Tester Search Console'is on kadunud ja selle asendanud robots.txt aruanne näitab, mida Google laadis, mitte otsust URL-i kohta.

robots.txt fail tundub lihtne, kuni vajad kindlat vastust: kas GPTBot tohib seda lehte laadida ja kas OAI-SearchBot tohib? Vastus sõltub sellest, millise rühma robot valib ja milline reegel selles rühmas võidab, ja mõlemas sammus on lihtne eksida. Siin on selgitus, kuidas vastavus RFC 9309 järgi töötab, neli läbitöötatud näidet ja kolm viisi faili ise testida.

Sellel lehel
  1. Mis juhtus Google Search Console'i robots.txt Testeriga?
  2. Kuidas robot otsustab, kas URL on lubatud?
  3. Kas saad näitega läbi käia, kuidas robots.txt-d testida?
  4. Kuidas käivitada Google'i avatud lähtekoodiga robots.txt parserit?
  5. Kas saan robots.txt-d testida Pythoni urllib.robotparser'iga?
  6. Miks robots.txt test läbib, aga robot on endiselt blokeeritud?
  7. Kuidas kontrollida robots.txt-d kõigi AI-robotite jaoks korraga?

Mis juhtus Google Search Console'i robots.txt Testeriga?

2023. aasta novembris lisas Google Search Console'i robots.txt aruande ja teatas, et lõpetab robots.txt testija. Aruanne asub jaotises Settings ja hõlmab ainult Google'i roboteid. See näitab:

Aruanne ei võta URL-i ega tagasta vastust lubatud või blokeeritud. Ühe URL-i kontrollimiseks Googleboti jaoks suunab Google URL-i kontrollimise tööriista juurde ja kohalikuks testimiseks oma avatud lähtekoodiga robots.txt teegi juurde. Kumbki ei ütle midagi AI-robotite kohta, nagu GPTBot või ClaudeBot.

Kuidas robot otsustab, kas URL on lubatud?

Vastavuse määratleb RFC 9309 ehk Robots Exclusion Protocol. Google dokumenteerib oma robotite puhul sama käitumise.

robots.txt vastuse kood on sama oluline kui selle reeglid. 4xx vastus tähendab, et robot tohib kõike laadida; Google käsitleb iga 4xx-i peale 429 nii, nagu faili poleks. 5xx vastus tähendab, et robot peab eeldama, et kogu sait on keelatud. Google peatab roomamise esimeseks 12 tunniks ja kasutab seejärel kuni 30 päeva viimast korras koopiat. RFC 9309 nõuab, et robotid parsiksid vähemalt 500 KiB, ja Google eirab kõike pärast 500 KiB-d.

Kas saad näitega läbi käia, kuidas robots.txt-d testida?

Siin on väike robots.txt vaikimisi rühma ja kahe nimega AI-robotiga:

User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$

Viike esineb harvem, kuid need järgivad sama loogikat. Google'i dokumentatsioon toob näite allow: /folder ja disallow: /folder kohta URL-i /folder/page puhul: mõlemad on sama pikad, nii et URL on lubatud.

Kuidas käivitada Google'i avatud lähtekoodiga robots.txt parserit?

Google avaldab C++ teegi, mida ta kasutab tootmises robots.txt reeglite võrdlemiseks, koos väikese käsureaprogrammiga, mis testib üht URL-i ja üht user agent'i kohaliku faili vastu. Kui Bazel on paigaldatud:

git clone https://github.com/google/robotstxt.git robotstxt
cd robotstxt/
bazel build :robots_main
# arguments: local robots.txt file, crawler token, full URL
bazel run robots_main -- ~/robots.txt OAI-SearchBot https://example.com/files/report.pdf
# prints ALLOWED or DISALLOWED; exit code 0 means allowed, 1 means disallowed

Repositoorium dokumenteerib ka CMake'i ehituse, mis loob samade argumentidega binaarfaili nimega robots. Tööriist ainult parsib ja võrdleb; see ei laadi robots.txt-d alla, nii et salvesta kõigepealt päris fail. Selle README märgib ka, et robotispetsiifiline käitumine väljaspool parsimist ja võrdlemist ei kuulu teegi juurde.

Kas saan robots.txt-d testida Pythoni urllib.robotparser'iga?

Pythoni standardteek sisaldab parserit, mis vastab user agent'i ja URL-i kohta lubatud või blokeeritud. See skript testib ülaltoodud näidet:

from urllib.robotparser import RobotFileParser

# Paste the robots.txt you want to test, or fetch it yourself first
ROBOTS_TXT = """
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$
"""

tests = [
    ("Googlebot", "https://example.com/search/help/billing"),
    ("GPTBot", "https://example.com/blog/post"),
    ("OAI-SearchBot", "https://example.com/admin/settings"),
    ("OAI-SearchBot", "https://example.com/files/report.pdf"),
]

rp = RobotFileParser()
rp.parse(ROBOTS_TXT.splitlines())
for agent, url in tests:
    print(f"{agent:15} {url}  ->", "allowed" if rp.can_fetch(agent, url) else "blocked")

Enne väljundi usaldamist kontrolli oma Pythoni versiooni. RFC 9309 vastavuse tugi lisati CPythonisse 2026. aastal ja jõudis esmakordselt välja Pythoni versioonides 3.13.14 ja 3.14.5. Vanemad versioonid, sealhulgas kogu 3.12 ja varasemad, rakendavad faili järjekorras esimest vastavat reeglit, mitte pikimat, ega mõista teedes * ega $ märki. Neis versioonides annab skript esimese ja neljanda testi tulemuse vastupidi: Googlebot blokeeritud teelt /search/help/billing ja OAI-SearchBotil lubatud PDF-i laadida.

Kaks erinevust kehtivad igas versioonis. RobotFileParser.read() käsitleb robots.txt 401 või 403 vastust kui kõige keelamist, RFC 9309 järgi aga tähendab 4xx, et kõike tohib laadida. Ja read() laadib faili Pythoni vaikimisi user agent'iga, mida mõned tulemüürid blokeerivad, nii et test võib näidata blokeeritud olekut sinu reeglitega mitte seotud põhjustel. Kui laadid faili ise ja annad selle parse()-ile, nagu ülal, väldid mõlemat.

Miks robots.txt test läbib, aga robot on endiselt blokeeritud?

Testija vastab ühele küsimusele: kas reeglid lubavad seda URL-i? Mitu asja jääb sellest vastusest välja:

Kuidas kontrollida robots.txt-d kõigi AI-robotite jaoks korraga?

Tasuta AISeeWhy robots.txt kontrollija võtab lehe aadressi või kleebitud robots.txt ja näitab iga AI- ja otsinguroboti kohta, kas seda lehte tohib laadida. Tasuta robots.txt generaator kirjutab sinu valikute põhjal faili ja tasuta kontroll laadib lehe 16 roboti nimel, et näidata, kas tulemüür blokeerib seda, mida robots.txt lubab.

Selle probleemi parandused

Tasuta tööriistad

Järgmised sammud

Selles artiklis olevad robotid

Korduma kippuvad küsimused

Kas Google Search Console'is on veel robots.txt testija?

Ei. Google asendas selle 2023. aasta novembris robots.txt aruandega, mis näitab Google'i laaditud faile, nende olekut ja vigu. Et kontrollida, kas Googlebot tohib konkreetset URL-i roomata, kasuta URL-i kontrollimise tööriista.

Kas robots.txt-s kirjutab Allow üle Disallow?

Ainult siis, kui Allow reegel on pikem või täpselt sama pikk. Võidab pikima vastava teega reegel, olgu see mis tüüpi tahes, ja viigi korral võidab Allow.

Kas robots.txt eristab suur- ja väiketähti?

Osaliselt. User-agent väärtust võrreldakse suur- ja väiketähti eristamata, nii et gptbot ja GPTBot nimetavad sama rühma. Teedes eristatakse suur- ja väiketähti, nii et Disallow: /Private/ ei blokeeri teed /private/.

Mida robots.txt valideerija kontrollib?

Valideerija kontrollib, et fail on kättesaadav, serveeritakse tekstina ja on kirjutatud kehtiva süntaksiga. Testija läheb kaugemale ja annab otsuse konkreetse URL-i ja roboti kohta. Tavaliselt vajad mõlemat, sest kehtiv fail võib ikkagi blokeerida lehe, mida tahtsid lubada.

Kui robotil on oma rühm, kas see järgib endiselt User-agent: * rühma?

Ei. Nimega rühm asendab selle roboti jaoks * rühma täielikult. Iga reegel, mida tahad kõigile rakendada, tuleb korrata igas nimega rühmas.

Allikad

Veel artikleid