Kā pārbaudīt robots.txt kārtulas konkrētam URL un rāpuļprogrammai?

Publicēts

Īsa atbilde

Lai pārbaudītu URL vienai rāpuļprogrammai, atrodiet grupu, kas nosauc rāpuļprogrammas marķieri (vai User-agent: *, ja tādas nav), savāciet visas tās Allow un Disallow kārtulas, kas atbilst URL ceļam, un piemērojiet garāko; ja garums vienāds, uzvar Allow. To var izdarīt manuāli, ar Google atvērtā koda parsētāju vai ar pārbaudes rīku, kas sniedz spriedumu katrai rāpuļprogrammai. Google vecais robots.txt Tester rīks Search Console vairs nepastāv, un robots.txt pārskats, kas to aizstāja, rāda, ko Google ielādēja, nevis spriedumu par URL.

robots.txt fails izskatās vienkāršs, līdz jums vajag noteiktu atbildi: vai GPTBot drīkst ielādēt šo lapu, un vai OAI-SearchBot drīkst? Atbilde ir atkarīga no tā, kuru grupu rāpuļprogramma izvēlas un kura kārtula šajā grupā uzvar, un abos soļos ir viegli kļūdīties. Šeit ir aprakstīts, kā atbilstība darbojas saskaņā ar RFC 9309, četri izstrādāti piemēri un trīs veidi, kā pārbaudīt failu pašam.

Šajā lapā
  1. Kas notika ar robots.txt Tester rīku Google Search Console?
  2. Kā rāpuļprogramma izlemj, vai URL ir atļauts?
  3. Vai varat parādīt robots.txt pārbaudes piemēru soli pa solim?
  4. Kā palaist Google atvērtā koda robots.txt parsētāju?
  5. Vai varu pārbaudīt robots.txt ar Python urllib.robotparser?
  6. Kāpēc robots.txt tests ir sekmīgs, bet rāpuļprogramma joprojām ir bloķēta?
  7. Kā pārbaudīt robots.txt visām MI rāpuļprogrammām uzreiz?

Kas notika ar robots.txt Tester rīku Google Search Console?

2023. gada novembrī Google pievienoja Search Console robots.txt pārskatu un paziņoja, ka robots.txt tester tiek izbeigts. Pārskats atrodas sadaļā Iestatījumi un aptver tikai Google rāpuļprogrammas. Tas rāda:

Pārskats nepieņem URL un neatgriež "atļauts" vai "bloķēts". Lai pārbaudītu vienu URL Googlebot, Google norāda uz URL pārbaudes rīku, bet lokālai testēšanai uz savu atvērtā koda robots.txt bibliotēku. Neviens no tiem neko nepasaka par MI rāpuļprogrammām, piemēram, GPTBot vai ClaudeBot.

Kā rāpuļprogramma izlemj, vai URL ir atļauts?

Atbilstību definē RFC 9309, Robots Exclusion Protocol. Google savām rāpuļprogrammām dokumentē tādu pašu uzvedību.

robots.txt atbildes kods ir tikpat svarīgs kā tā kārtulas. 4xx atbilde nozīmē, ka rāpuļprogramma drīkst ielādēt visu; Google katru 4xx, izņemot 429, uzskata tā, it kā faila nebūtu. 5xx atbilde nozīmē, ka rāpuļprogrammai jāpieņem, ka visa vietne ir aizliegta. Google pirmās 12 stundas pārtrauc apstaigāšanu, pēc tam līdz 30 dienām izmanto pēdējo derīgo kopiju. RFC 9309 prasa, lai rāpuļprogrammas parsētu vismaz 500 KiB, un Google ignorē visu, kas ir pēc 500 KiB.

Vai varat parādīt robots.txt pārbaudes piemēru soli pa solim?

Šeit ir neliels robots.txt ar noklusējuma grupu un divām nosauktām MI rāpuļprogrammām:

User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$

Vienāda garuma gadījumi ir retāki, bet seko tai pašai loģikai. Google dokumentācijā dots piemērs ar allow: /folder un disallow: /folder URL /folder/page: abas ir vienāda garuma, tāpēc URL ir atļauts.

Kā palaist Google atvērtā koda robots.txt parsētāju?

Google publicē C++ bibliotēku, ko tā ražošanā izmanto robots.txt kārtulu salīdzināšanai, ar nelielu komandrindas programmu viena URL un viena user-agent pārbaudei pret lokālu failu. Ar instalētu Bazel:

git clone https://github.com/google/robotstxt.git robotstxt
cd robotstxt/
bazel build :robots_main
# arguments: local robots.txt file, crawler token, full URL
bazel run robots_main -- ~/robots.txt OAI-SearchBot https://example.com/files/report.pdf
# prints ALLOWED or DISALLOWED; exit code 0 means allowed, 1 means disallowed

Repozitorijā dokumentēta arī CMake būvēšana, kas izveido bināro failu robots ar tiem pašiem argumentiem. Rīks tikai parsē un salīdzina; tas nelejupielādē robots.txt, tāpēc vispirms saglabājiet aktuālo failu. Tā README arī norādīts, ka rāpuļprogrammu specifiskā uzvedība ārpus parsēšanas un salīdzināšanas nav bibliotēkas daļa.

Vai varu pārbaudīt robots.txt ar Python urllib.robotparser?

Python standarta bibliotēkā ir parsētājs, kas atbild "atļauts" vai "bloķēts" konkrētam user-agent un URL. Šis skripts pārbauda iepriekšējo piemēru:

from urllib.robotparser import RobotFileParser

# Paste the robots.txt you want to test, or fetch it yourself first
ROBOTS_TXT = """
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$
"""

tests = [
    ("Googlebot", "https://example.com/search/help/billing"),
    ("GPTBot", "https://example.com/blog/post"),
    ("OAI-SearchBot", "https://example.com/admin/settings"),
    ("OAI-SearchBot", "https://example.com/files/report.pdf"),
]

rp = RobotFileParser()
rp.parse(ROBOTS_TXT.splitlines())
for agent, url in tests:
    print(f"{agent:15} {url}  ->", "allowed" if rp.can_fetch(agent, url) else "blocked")

Pirms uzticaties rezultātam, pārbaudiet savu Python versiju. RFC 9309 atbilstības atbalsts CPython tika pievienots 2026. gadā un pirmo reizi iekļauts Python 3.13.14 un 3.14.5. Vecākas versijas, ieskaitot visu 3.12 un vecākas, piemēro pirmo atbilstošo kārtulu faila secībā, nevis garāko, un nesaprot * vai $ ceļos. Šajās versijās skripts pirmo un ceturto testu rāda otrādi: Googlebot bloķēts no /search/help/billing un OAI-SearchBot atļauts ielādēt PDF.

Vēl divas atšķirības attiecas uz visām versijām. RobotFileParser.read() 401 vai 403 atbildi uz robots.txt uzskata par visa aizliegumu, kamēr RFC 9309 nosaka, ka 4xx nozīmē, ka visu drīkst ielādēt. Un read() lejupielādē failu ar Python noklusējuma user-agent, ko daži ugunsmūri bloķē, tāpēc tests var ziņot "bloķēts" iemeslu dēļ, kas nav saistīti ar jūsu kārtulām. Ja failu ielādējat pats un nododat to parse(), kā iepriekš, abas problēmas tiek novērstas.

Kāpēc robots.txt tests ir sekmīgs, bet rāpuļprogramma joprojām ir bloķēta?

Testeris atbild uz vienu jautājumu: vai kārtulas atļauj šo URL? Vairākas lietas ir ārpus šīs atbildes:

Kā pārbaudīt robots.txt visām MI rāpuļprogrammām uzreiz?

Bezmaksas AISeeWhy robots.txt pārbaude pieņem lapas adresi vai ielīmētu robots.txt un katrai MI un meklētāju rāpuļprogrammai parāda, vai šo lapu drīkst ielādēt. Bezmaksas robots.txt ģenerators izveido failu pēc jūsu izvēles, un bezmaksas pārbaude ielādē lapu kā 16 rāpuļprogrammas, lai parādītu, vai ugunsmūris bloķē to, ko robots.txt atļauj.

Labojumi šai problēmai

Bezmaksas rīki

Nākamie soļi

Šajā rakstā minētās rāpuļprogrammas

Biežāk uzdotie jautājumi

Vai Google Search Console joprojām ir robots.txt tester?

Nē. Google 2023. gada novembrī to aizstāja ar robots.txt pārskatu, kas rāda Google ielādētos failus, to statusu un kļūdas. Lai pārbaudītu, vai Googlebot drīkst apstaigāt konkrētu URL, izmantojiet URL pārbaudes rīku.

Vai robots.txt Allow ir svarīgāks par Disallow?

Tikai tad, ja Allow kārtula ir garāka vai tieši tikpat gara. Uzvar kārtula ar garāko atbilstošo ceļu neatkarīgi no tās veida, un vienāda garuma gadījumā uzvar Allow.

Vai robots.txt ir reģistrjutīgs?

Daļēji. User-agent vērtība tiek salīdzināta, neņemot vērā reģistru, tāpēc gptbot un GPTBot nosauc vienu un to pašu grupu. Ceļi ir reģistrjutīgi, tāpēc Disallow: /Private/ nebloķē /private/.

Ko pārbauda robots.txt validators?

Validators pārbauda, vai fails ir sasniedzams, tiek pasniegts kā teksts un uzrakstīts ar derīgu sintaksi. Testeris iet tālāk un sniedz spriedumu konkrētam URL un rāpuļprogrammai. Parasti vajag abus, jo derīgs fails joprojām var bloķēt lapu, kuru gribējāt atļaut.

Ja rāpuļprogrammai ir sava grupa, vai tā joprojām ievēro User-agent: *?

Nē. Nosaukta grupa šai rāpuļprogrammai pilnībā aizstāj grupu *. Jebkura kārtula, kurai jāattiecas uz visiem, jāatkārto katrā nosauktajā grupā.

Avoti

Citi raksti