Kuidas testida robots.txt reegleid URL-i ja kindla roboti jaoks?
URL-i testimiseks ühe roboti jaoks leia rühm, mis nimetab roboti tunnust (või User-agent: *, kui ükski ei nimeta), kogu sellest rühmast kokku kõik Allow ja Disallow reeglid, mis URL-i teele vastavad, ja rakenda pikimat; viigi korral võidab Allow. Seda saab teha käsitsi, Google'i avatud lähtekoodiga parseriga või kontrollijaga, mis näitab otsust iga roboti kohta. Google'i vana robots.txt Tester Search Console'is on kadunud ja selle asendanud robots.txt aruanne näitab, mida Google laadis, mitte otsust URL-i kohta.
robots.txt fail tundub lihtne, kuni vajad kindlat vastust: kas GPTBot tohib seda lehte laadida ja kas OAI-SearchBot tohib? Vastus sõltub sellest, millise rühma robot valib ja milline reegel selles rühmas võidab, ja mõlemas sammus on lihtne eksida. Siin on selgitus, kuidas vastavus RFC 9309 järgi töötab, neli läbitöötatud näidet ja kolm viisi faili ise testida.
Sellel lehel
- Mis juhtus Google Search Console'i robots.txt Testeriga?
- Kuidas robot otsustab, kas URL on lubatud?
- Kas saad näitega läbi käia, kuidas robots.txt-d testida?
- Kuidas käivitada Google'i avatud lähtekoodiga robots.txt parserit?
- Kas saan robots.txt-d testida Pythoni urllib.robotparser'iga?
- Miks robots.txt test läbib, aga robot on endiselt blokeeritud?
- Kuidas kontrollida robots.txt-d kõigi AI-robotite jaoks korraga?
Mis juhtus Google Search Console'i robots.txt Testeriga?
2023. aasta novembris lisas Google Search Console'i robots.txt aruande ja teatas, et lõpetab robots.txt testija. Aruanne asub jaotises Settings ja hõlmab ainult Google'i roboteid. See näitab:
- robots.txt faile, mille Google leidis sinu atribuudi 20 peamise hosti jaoks.
- Iga faili laadimise olekut (
Fetched,Not Fetched - Not found (404)võiNot Fetched - Any other reason), millal Google seda viimati kontrollis ja selle suurust baitides. - Probleeme failis. Google ütleb, et vead takistavad reegli kasutamist, hoiatused aga mitte.
- Versioone, mille Google viimase 30 päeva jooksul laadis, ja nuppu uuesti roomamise taotlemiseks pärast faili parandamist.
Aruanne ei võta URL-i ega tagasta vastust lubatud või blokeeritud. Ühe URL-i kontrollimiseks Googleboti jaoks suunab Google URL-i kontrollimise tööriista juurde ja kohalikuks testimiseks oma avatud lähtekoodiga robots.txt teegi juurde. Kumbki ei ütle midagi AI-robotite kohta, nagu GPTBot või ClaudeBot.
Kuidas robot otsustab, kas URL on lubatud?
Vastavuse määratleb RFC 9309 ehk Robots Exclusion Protocol. Google dokumenteerib oma robotite puhul sama käitumise.
- Vali rühm. User-agent'i võrdlemisel suur- ja väiketähti ei eristata. Kui üks või mitu rühma nimetavad roboti tunnust, liidetakse nende reeglid ja
User-agent: *rühma eiratakse täielikult. Ainult robot, millel nimega rühma pole, järgib*-i. - Vali reegel.
AllowjaDisallowreeglitest, mille tee vastab URL-ile, võidab see, milles on kõige rohkem märke. KuiAllowjaDisallowon sama pikad, peaks võitmaAllow. - Loe mustreid.
*vastab mis tahes märgijadale ja$tähistab URL-i lõppu. Teedes eristatakse suur- ja väiketähti, nii et/Admin/ei vasta/admin/-ile. - Kui ükski reegel ei vasta, on lubatud.
/robots.txtise on alati lubatud.
robots.txt vastuse kood on sama oluline kui selle reeglid. 4xx vastus tähendab, et robot tohib kõike laadida; Google käsitleb iga 4xx-i peale 429 nii, nagu faili poleks. 5xx vastus tähendab, et robot peab eeldama, et kogu sait on keelatud. Google peatab roomamise esimeseks 12 tunniks ja kasutab seejärel kuni 30 päeva viimast korras koopiat. RFC 9309 nõuab, et robotid parsiksid vähemalt 500 KiB, ja Google eirab kõike pärast 500 KiB-d.
Kas saad näitega läbi käia, kuidas robots.txt-d testida?
Siin on väike robots.txt vaikimisi rühma ja kahe nimega AI-robotiga:
Googlebotja/search/help/billing: lubatud. Googleboti rühma pole, nii et kehtib*rühm. NiiDisallow: /searchkui kaAllow: /search/helpvastavad jaAllowreegel on pikem.GPTBotja/blog/post: blokeeritud. GPTBotil on oma rühm jaDisallow: /vastab igale teele.OAI-SearchBotja/admin/settings: lubatud. OAI-SearchBotil on oma rühm, nii et*rühmaDisallow: /admin/sellele ei kehti. See on kõige sagedasem üllatus; korda ühiseid reegleid igas nimega rühmas.OAI-SearchBotja/files/report.pdf: blokeeritud.Allow: /vastab ühe märgiga,Disallow: /*.pdf$seitsmega ja pikem reegel võidab.
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$ Viike esineb harvem, kuid need järgivad sama loogikat. Google'i dokumentatsioon toob näite allow: /folder ja disallow: /folder kohta URL-i /folder/page puhul: mõlemad on sama pikad, nii et URL on lubatud.
Kuidas käivitada Google'i avatud lähtekoodiga robots.txt parserit?
Google avaldab C++ teegi, mida ta kasutab tootmises robots.txt reeglite võrdlemiseks, koos väikese käsureaprogrammiga, mis testib üht URL-i ja üht user agent'i kohaliku faili vastu. Kui Bazel on paigaldatud:
git clone https://github.com/google/robotstxt.git robotstxt
cd robotstxt/
bazel build :robots_main
# arguments: local robots.txt file, crawler token, full URL
bazel run robots_main -- ~/robots.txt OAI-SearchBot https://example.com/files/report.pdf
# prints ALLOWED or DISALLOWED; exit code 0 means allowed, 1 means disallowed Repositoorium dokumenteerib ka CMake'i ehituse, mis loob samade argumentidega binaarfaili nimega robots. Tööriist ainult parsib ja võrdleb; see ei laadi robots.txt-d alla, nii et salvesta kõigepealt päris fail. Selle README märgib ka, et robotispetsiifiline käitumine väljaspool parsimist ja võrdlemist ei kuulu teegi juurde.
Kas saan robots.txt-d testida Pythoni urllib.robotparser'iga?
Pythoni standardteek sisaldab parserit, mis vastab user agent'i ja URL-i kohta lubatud või blokeeritud. See skript testib ülaltoodud näidet:
from urllib.robotparser import RobotFileParser
# Paste the robots.txt you want to test, or fetch it yourself first
ROBOTS_TXT = """
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$
"""
tests = [
("Googlebot", "https://example.com/search/help/billing"),
("GPTBot", "https://example.com/blog/post"),
("OAI-SearchBot", "https://example.com/admin/settings"),
("OAI-SearchBot", "https://example.com/files/report.pdf"),
]
rp = RobotFileParser()
rp.parse(ROBOTS_TXT.splitlines())
for agent, url in tests:
print(f"{agent:15} {url} ->", "allowed" if rp.can_fetch(agent, url) else "blocked") Enne väljundi usaldamist kontrolli oma Pythoni versiooni. RFC 9309 vastavuse tugi lisati CPythonisse 2026. aastal ja jõudis esmakordselt välja Pythoni versioonides 3.13.14 ja 3.14.5. Vanemad versioonid, sealhulgas kogu 3.12 ja varasemad, rakendavad faili järjekorras esimest vastavat reeglit, mitte pikimat, ega mõista teedes * ega $ märki. Neis versioonides annab skript esimese ja neljanda testi tulemuse vastupidi: Googlebot blokeeritud teelt /search/help/billing ja OAI-SearchBotil lubatud PDF-i laadida.
Kaks erinevust kehtivad igas versioonis. RobotFileParser.read() käsitleb robots.txt 401 või 403 vastust kui kõige keelamist, RFC 9309 järgi aga tähendab 4xx, et kõike tohib laadida. Ja read() laadib faili Pythoni vaikimisi user agent'iga, mida mõned tulemüürid blokeerivad, nii et test võib näidata blokeeritud olekut sinu reeglitega mitte seotud põhjustel. Kui laadid faili ise ja annad selle parse()-ile, nagu ülal, väldid mõlemat.
Miks robots.txt test läbib, aga robot on endiselt blokeeritud?
Testija vastab ühele küsimusele: kas reeglid lubavad seda URL-i? Mitu asja jääb sellest vastusest välja:
- Päris fail erineb sellest, mida testisid, või kasutab robot endiselt vahemällu salvestatud koopiat. RFC 9309 ütleb, et robotid ei tohiks vahemälu koopiat kasutada kauem kui 24 tundi, ja Google hoiab üldjuhul vahemälu kuni 24 tundi.
- robots.txt URL tagastab HTML-lehe või vea. Olekuga 200 HTML-leht ei sisalda kehtivaid reegleid ja 5xx vastus blokeerib kogu saidi.
- robots.txt on palve, mitte ligipääsu kontroll. Tulemüür, CDN või robotikaitse võib robotile ikkagi vastata veaga 403 või kontrollilehega.
Kuidas kontrollida robots.txt-d kõigi AI-robotite jaoks korraga?
Tasuta AISeeWhy robots.txt kontrollija võtab lehe aadressi või kleebitud robots.txt ja näitab iga AI- ja otsinguroboti kohta, kas seda lehte tohib laadida. Tasuta robots.txt generaator kirjutab sinu valikute põhjal faili ja tasuta kontroll laadib lehe 16 roboti nimel, et näidata, kas tulemüür blokeerib seda, mida robots.txt lubab.
Selle probleemi parandused
- robots.txt lubab roboti GPTBot, kuid server blokeerib selle
- robots.txt keelab roboti OAI-SearchBot
- robots.txt on HTML-leht
- robots.txt-d ei õnnestu laadida
Järgmised sammud
- robots.txt testija ja kontrollija AI-robotitele
- Vaadake täieliku raporti näidet
- AI-robotite jälgimine
- Paketid ja hinnad
Selles artiklis olevad robotid
Korduma kippuvad küsimused
Kas Google Search Console'is on veel robots.txt testija?
Ei. Google asendas selle 2023. aasta novembris robots.txt aruandega, mis näitab Google'i laaditud faile, nende olekut ja vigu. Et kontrollida, kas Googlebot tohib konkreetset URL-i roomata, kasuta URL-i kontrollimise tööriista.
Kas robots.txt-s kirjutab Allow üle Disallow?
Ainult siis, kui Allow reegel on pikem või täpselt sama pikk. Võidab pikima vastava teega reegel, olgu see mis tüüpi tahes, ja viigi korral võidab Allow.
Kas robots.txt eristab suur- ja väiketähti?
Osaliselt. User-agent väärtust võrreldakse suur- ja väiketähti eristamata, nii et gptbot ja GPTBot nimetavad sama rühma. Teedes eristatakse suur- ja väiketähti, nii et Disallow: /Private/ ei blokeeri teed /private/.
Mida robots.txt valideerija kontrollib?
Valideerija kontrollib, et fail on kättesaadav, serveeritakse tekstina ja on kirjutatud kehtiva süntaksiga. Testija läheb kaugemale ja annab otsuse konkreetse URL-i ja roboti kohta. Tavaliselt vajad mõlemat, sest kehtiv fail võib ikkagi blokeerida lehe, mida tahtsid lubada.
Kui robotil on oma rühm, kas see järgib endiselt User-agent: * rühma?
Ei. Nimega rühm asendab selle roboti jaoks * rühma täielikult. Iga reegel, mida tahad kõigile rakendada, tuleb korrata igas nimega rühmas.
Allikad
- Google Search Console Help: robots.txt report
- Search Engine Roundtable: New Google Search Console robots.txt report replaced robots.txt tester tool
- Google Search Central: How Google interprets the robots.txt specification
- Google Search Central: Create and submit a robots.txt file
- RFC 9309: Robots Exclusion Protocol
- GitHub: google/robotstxt
- Python documentation: urllib.robotparser
- CPython source: Lib/urllib/robotparser.py