Kaip išbandyti robots.txt taisykles konkrečiam URL ir robotui?

Paskelbta

Trumpas atsakymas

Norėdami išbandyti URL vienam robotui, raskite grupę, kurioje nurodytas roboto žymuo (arba User-agent: *, jei tokios nėra), surinkite visas joje esančias Allow ir Disallow taisykles, atitinkančias URL kelią, ir pritaikykite ilgiausią; esant lygiam ilgiui, laimi Allow. Tai galite padaryti rankiniu būdu, su Google atvirojo kodo analizatoriumi arba su tikrinimo įrankiu, rodančiu verdiktą kiekvienam robotui. Senojo robots.txt Tester Search Console nebėra, o jį pakeitusi robots.txt ataskaita rodo, ką Google atsisiuntė, o ne verdiktą konkrečiam URL.

robots.txt failas atrodo paprastas, kol prireikia aiškaus atsakymo: ar GPTBot gali atsisiųsti šį puslapį, o ar OAI-SearchBot? Atsakymas priklauso nuo to, kurią grupę robotas pasirenka ir kuri taisyklė toje grupėje laimi, o abiejuose žingsniuose lengva suklysti. Štai kaip veikia atitiktis pagal RFC 9309, keturi išnagrinėti pavyzdžiai ir trys būdai patiems išbandyti failą.

Šiame puslapyje
  1. Kas nutiko robots.txt Tester įrankiui Google Search Console?
  2. Kaip robotas nusprendžia, ar URL leidžiamas?
  3. Ar galite parodyti robots.txt tikrinimo pavyzdį?
  4. Kaip paleisti Google atvirojo kodo robots.txt analizatorių?
  5. Ar galiu išbandyti robots.txt su Python urllib.robotparser?
  6. Kodėl robots.txt testas praeina, o robotas vis tiek blokuojamas?
  7. Kaip patikrinti robots.txt visiems DI robotams iš karto?

Kas nutiko robots.txt Tester įrankiui Google Search Console?

2023 m. lapkritį Google į Search Console įtraukė robots.txt ataskaitą ir paskelbė, kad nutraukia robots.txt tester. Ataskaita yra skiltyje Settings ir apima tik Google robotus. Ji rodo:

Ataskaita nepriima URL ir negrąžina „leidžiama“ ar „blokuojama“. Vienam URL patikrinti Googlebot atveju Google nurodo URL Inspection įrankį, o vietiniam bandymui – savo atvirojo kodo robots.txt biblioteką. Nė vienas iš jų nieko nepasako apie DI robotus, tokius kaip GPTBot ar ClaudeBot.

Kaip robotas nusprendžia, ar URL leidžiamas?

Atitiktį apibrėžia RFC 9309, Robots Exclusion Protocol. Google tokią pat elgseną dokumentuoja savo robotams.

robots.txt atsakymo kodas svarbus tiek pat, kiek jo taisyklės. 4xx atsakymas reiškia, kad robotas gali atsisiųsti viską; Google kiekvieną 4xx, išskyrus 429, traktuoja taip, lyg failo nebūtų. 5xx atsakymas reiškia, kad robotas turi laikyti visą svetainę uždrausta. Google pirmąsias 12 valandų nustoja nuskaityti, o tada iki 30 dienų naudoja paskutinę gerą kopiją. RFC 9309 reikalauja, kad robotai apdorotų bent 500 KiB, o Google ignoruoja viską po 500 KiB.

Ar galite parodyti robots.txt tikrinimo pavyzdį?

Štai nedidelis robots.txt su numatytąja grupe ir dviem pavadintais DI robotais:

User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$

Lygiosios retesnės, bet vadovaujasi ta pačia logika. Google dokumentacijoje pateikiamas atvejis allow: /folder ir disallow: /folder URL /folder/page: abi vienodo ilgio, todėl URL leidžiamas.

Kaip paleisti Google atvirojo kodo robots.txt analizatorių?

Google skelbia C++ biblioteką, kurią naudoja gamyboje robots.txt taisyklėms atitikti, su nedidele komandinės eilutės programa vienam URL ir vienam user agent patikrinti pagal vietinį failą. Su įdiegtu Bazel:

git clone https://github.com/google/robotstxt.git robotstxt
cd robotstxt/
bazel build :robots_main
# arguments: local robots.txt file, crawler token, full URL
bazel run robots_main -- ~/robots.txt OAI-SearchBot https://example.com/files/report.pdf
# prints ALLOWED or DISALLOWED; exit code 0 means allowed, 1 means disallowed

Saugykloje taip pat aprašytas CMake kompiliavimas, kuris sukuria vykdomąjį failą robots su tais pačiais argumentais. Įrankis tik analizuoja ir lygina; jis neatsisiunčia robots.txt, todėl pirmiausia išsaugokite failą iš svetainės. Jo README taip pat pažymi, kad robotams būdinga elgsena už analizės ir atitikties ribų nėra bibliotekos dalis.

Ar galiu išbandyti robots.txt su Python urllib.robotparser?

Python standartinėje bibliotekoje yra analizatorius, kuris atsako „leidžiama“ ar „blokuojama“ user agent ir URL. Šis scenarijus išbando aukščiau pateiktą pavyzdį:

from urllib.robotparser import RobotFileParser

# Paste the robots.txt you want to test, or fetch it yourself first
ROBOTS_TXT = """
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$
"""

tests = [
    ("Googlebot", "https://example.com/search/help/billing"),
    ("GPTBot", "https://example.com/blog/post"),
    ("OAI-SearchBot", "https://example.com/admin/settings"),
    ("OAI-SearchBot", "https://example.com/files/report.pdf"),
]

rp = RobotFileParser()
rp.parse(ROBOTS_TXT.splitlines())
for agent, url in tests:
    print(f"{agent:15} {url}  ->", "allowed" if rp.can_fetch(agent, url) else "blocked")

Prieš pasitikėdami rezultatu, patikrinkite Python versiją. Atitikties pagal RFC 9309 palaikymas į CPython įtrauktas 2026 m. ir pirmą kartą išleistas Python 3.13.14 ir 3.14.5. Senesnės versijos, įskaitant visą 3.12 ir ankstesnes, taiko pirmą atitinkančią taisyklę failo tvarka, o ne ilgiausią, ir nesupranta * ar $ keliuose. Šiose versijose scenarijus pirmą ir ketvirtą testą parodo atvirkščiai: Googlebot blokuojamas /search/help/billing, o OAI-SearchBot leidžiama atsisiųsti PDF.

Dar du skirtumai galioja visoms versijoms. RobotFileParser.read() 401 ar 403 atsakymą į robots.txt traktuoja kaip viso turinio draudimą, o RFC 9309 sako, kad 4xx reiškia, jog galima atsisiųsti viską. Be to, read() atsisiunčia failą su numatytuoju Python user agent, kurį kai kurios ugniasienės blokuoja, todėl testas gali parodyti blokavimą dėl priežasčių, nesusijusių su jūsų taisyklėmis. Jei failą atsisiųsite patys ir perduosite į parse(), kaip aukščiau, išvengsite abiejų problemų.

Kodėl robots.txt testas praeina, o robotas vis tiek blokuojamas?

Testeris atsako į vieną klausimą: ar taisyklės leidžia šį URL? Keli dalykai lieka už šio atsakymo ribų:

Kaip patikrinti robots.txt visiems DI robotams iš karto?

Nemokamas AISeeWhy robots.txt tikrinimo įrankis priima puslapio adresą arba įklijuotą robots.txt ir kiekvienam DI ir paieškos robotui parodo, ar tą puslapį galima atsisiųsti. Nemokamas robots.txt generatorius parašo failą pagal jūsų pasirinkimus, o nemokama patikra atsisiunčia puslapį kaip 16 robotų ir parodo, ar ugniasienė blokuoja tai, ką robots.txt leidžia.

Šios problemos pataisymai

Nemokami įrankiai

Kiti žingsniai

Šiame straipsnyje minimi robotai

Dažniausiai užduodami klausimai

Ar Google Search Console vis dar yra robots.txt tester?

Ne. 2023 m. lapkritį Google jį pakeitė robots.txt ataskaita, kuri rodo Google atsisiųstus failus, jų būseną ir klaidas. Norėdami patikrinti, ar Googlebot gali nuskaityti konkretų URL, naudokite URL Inspection įrankį.

Ar robots.txt Allow nusveria Disallow?

Tik kai Allow taisyklė ilgesnė arba lygiai tokio pat ilgio. Laimi taisyklė su ilgiausiu atitinkančiu keliu, nesvarbu, kokios ji rūšies, o esant lygiam ilgiui laimi Allow.

Ar robots.txt skiria didžiąsias ir mažąsias raides?

Iš dalies. User-agent reikšmė lyginama neatsižvelgiant į raidžių dydį, todėl gptbot ir GPTBot nurodo tą pačią grupę. Keliai skiria didžiąsias ir mažąsias raides, todėl Disallow: /Private/ neblokuoja /private/.

Ką tikrina robots.txt validatorius?

Validatorius tikrina, ar failas pasiekiamas, pateikiamas kaip tekstas ir parašytas teisinga sintakse. Testeris eina toliau ir pateikia verdiktą konkrečiam URL ir robotui. Paprastai reikia abiejų, nes ir galiojantis failas gali blokuoti puslapį, kurį norėjote leisti.

Jei robotas turi savo grupę, ar jis vis dar vadovaujasi User-agent: *?

Ne. Pavadinta grupė tam robotui visiškai pakeičia grupę *. Kiekvieną taisyklę, kuri turi galioti visiems, reikia pakartoti kiekvienoje pavadintoje grupėje.

Šaltiniai

Daugiau straipsnių