Kā pārbaudīt robots.txt kārtulas konkrētam URL un rāpuļprogrammai?
Lai pārbaudītu URL vienai rāpuļprogrammai, atrodiet grupu, kas nosauc rāpuļprogrammas marķieri (vai User-agent: *, ja tādas nav), savāciet visas tās Allow un Disallow kārtulas, kas atbilst URL ceļam, un piemērojiet garāko; ja garums vienāds, uzvar Allow. To var izdarīt manuāli, ar Google atvērtā koda parsētāju vai ar pārbaudes rīku, kas sniedz spriedumu katrai rāpuļprogrammai. Google vecais robots.txt Tester rīks Search Console vairs nepastāv, un robots.txt pārskats, kas to aizstāja, rāda, ko Google ielādēja, nevis spriedumu par URL.
robots.txt fails izskatās vienkāršs, līdz jums vajag noteiktu atbildi: vai GPTBot drīkst ielādēt šo lapu, un vai OAI-SearchBot drīkst? Atbilde ir atkarīga no tā, kuru grupu rāpuļprogramma izvēlas un kura kārtula šajā grupā uzvar, un abos soļos ir viegli kļūdīties. Šeit ir aprakstīts, kā atbilstība darbojas saskaņā ar RFC 9309, četri izstrādāti piemēri un trīs veidi, kā pārbaudīt failu pašam.
Šajā lapā
- Kas notika ar robots.txt Tester rīku Google Search Console?
- Kā rāpuļprogramma izlemj, vai URL ir atļauts?
- Vai varat parādīt robots.txt pārbaudes piemēru soli pa solim?
- Kā palaist Google atvērtā koda robots.txt parsētāju?
- Vai varu pārbaudīt robots.txt ar Python urllib.robotparser?
- Kāpēc robots.txt tests ir sekmīgs, bet rāpuļprogramma joprojām ir bloķēta?
- Kā pārbaudīt robots.txt visām MI rāpuļprogrammām uzreiz?
Kas notika ar robots.txt Tester rīku Google Search Console?
2023. gada novembrī Google pievienoja Search Console robots.txt pārskatu un paziņoja, ka robots.txt tester tiek izbeigts. Pārskats atrodas sadaļā Iestatījumi un aptver tikai Google rāpuļprogrammas. Tas rāda:
- robots.txt failus, ko Google atrada jūsu īpašuma 20 galvenajiem saimniekdatoriem.
- Katra faila ielādes statusu (
Fetched,Not Fetched - Not found (404)vaiNot Fetched - Any other reason), kad Google to pēdējo reizi pārbaudīja un tā lielumu baitos. - Problēmas failā. Google norāda, ka kļūdas neļauj kārtulu izmantot, bet brīdinājumi ne.
- Versijas, ko Google ielādēja pēdējās 30 dienās, un pogu atkārtotas apstaigāšanas pieprasīšanai pēc faila labošanas.
Pārskats nepieņem URL un neatgriež "atļauts" vai "bloķēts". Lai pārbaudītu vienu URL Googlebot, Google norāda uz URL pārbaudes rīku, bet lokālai testēšanai uz savu atvērtā koda robots.txt bibliotēku. Neviens no tiem neko nepasaka par MI rāpuļprogrammām, piemēram, GPTBot vai ClaudeBot.
Kā rāpuļprogramma izlemj, vai URL ir atļauts?
Atbilstību definē RFC 9309, Robots Exclusion Protocol. Google savām rāpuļprogrammām dokumentē tādu pašu uzvedību.
- Izvēlieties grupu. User-agent salīdzināšana nav reģistrjutīga. Ja viena vai vairākas grupas nosauc rāpuļprogrammas marķieri, to kārtulas tiek apvienotas un grupa
User-agent: *tiek pilnībā ignorēta.*ievēro tikai rāpuļprogramma, kurai nav nosauktas grupas. - Izvēlieties kārtulu. No
AllowunDisallowkārtulām, kuru ceļš atbilst URL, uzvar tā, kurā ir visvairāk rakstzīmju. JaAllowunDisallowir vienāda garuma, jāuzvarAllow. - Nolasiet šablonus.
*atbilst jebkurai rakstzīmju virknei, un$apzīmē URL beigas. Ceļi ir reģistrjutīgi, tāpēc/Admin/neatbilst/admin/. - Ja neviena kārtula neatbilst, URL ir atļauts. Pats
/robots.txtvienmēr ir atļauts.
robots.txt atbildes kods ir tikpat svarīgs kā tā kārtulas. 4xx atbilde nozīmē, ka rāpuļprogramma drīkst ielādēt visu; Google katru 4xx, izņemot 429, uzskata tā, it kā faila nebūtu. 5xx atbilde nozīmē, ka rāpuļprogrammai jāpieņem, ka visa vietne ir aizliegta. Google pirmās 12 stundas pārtrauc apstaigāšanu, pēc tam līdz 30 dienām izmanto pēdējo derīgo kopiju. RFC 9309 prasa, lai rāpuļprogrammas parsētu vismaz 500 KiB, un Google ignorē visu, kas ir pēc 500 KiB.
Vai varat parādīt robots.txt pārbaudes piemēru soli pa solim?
Šeit ir neliels robots.txt ar noklusējuma grupu un divām nosauktām MI rāpuļprogrammām:
Googlebotun/search/help/billing: atļauts. Googlebot grupas nav, tāpēc tiek piemērota grupa*. Atbilst ganDisallow: /search, ganAllow: /search/help, un kārtulaAllowir garāka.GPTBotun/blog/post: bloķēts. GPTBot ir sava grupa, unDisallow: /atbilst jebkuram ceļam.OAI-SearchBotun/admin/settings: atļauts. OAI-SearchBot ir sava grupa, tāpēcDisallow: /admin/grupā*uz to neattiecas. Šis ir biežākais pārsteigums; atkārtojiet kopīgās kārtulas katrā nosauktajā grupā.OAI-SearchBotun/files/report.pdf: bloķēts.Allow: /atbilst ar vienu rakstzīmi,Disallow: /*.pdf$ar septiņām, un garākā kārtula uzvar.
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$ Vienāda garuma gadījumi ir retāki, bet seko tai pašai loģikai. Google dokumentācijā dots piemērs ar allow: /folder un disallow: /folder URL /folder/page: abas ir vienāda garuma, tāpēc URL ir atļauts.
Kā palaist Google atvērtā koda robots.txt parsētāju?
Google publicē C++ bibliotēku, ko tā ražošanā izmanto robots.txt kārtulu salīdzināšanai, ar nelielu komandrindas programmu viena URL un viena user-agent pārbaudei pret lokālu failu. Ar instalētu Bazel:
git clone https://github.com/google/robotstxt.git robotstxt
cd robotstxt/
bazel build :robots_main
# arguments: local robots.txt file, crawler token, full URL
bazel run robots_main -- ~/robots.txt OAI-SearchBot https://example.com/files/report.pdf
# prints ALLOWED or DISALLOWED; exit code 0 means allowed, 1 means disallowed Repozitorijā dokumentēta arī CMake būvēšana, kas izveido bināro failu robots ar tiem pašiem argumentiem. Rīks tikai parsē un salīdzina; tas nelejupielādē robots.txt, tāpēc vispirms saglabājiet aktuālo failu. Tā README arī norādīts, ka rāpuļprogrammu specifiskā uzvedība ārpus parsēšanas un salīdzināšanas nav bibliotēkas daļa.
Vai varu pārbaudīt robots.txt ar Python urllib.robotparser?
Python standarta bibliotēkā ir parsētājs, kas atbild "atļauts" vai "bloķēts" konkrētam user-agent un URL. Šis skripts pārbauda iepriekšējo piemēru:
from urllib.robotparser import RobotFileParser
# Paste the robots.txt you want to test, or fetch it yourself first
ROBOTS_TXT = """
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$
"""
tests = [
("Googlebot", "https://example.com/search/help/billing"),
("GPTBot", "https://example.com/blog/post"),
("OAI-SearchBot", "https://example.com/admin/settings"),
("OAI-SearchBot", "https://example.com/files/report.pdf"),
]
rp = RobotFileParser()
rp.parse(ROBOTS_TXT.splitlines())
for agent, url in tests:
print(f"{agent:15} {url} ->", "allowed" if rp.can_fetch(agent, url) else "blocked") Pirms uzticaties rezultātam, pārbaudiet savu Python versiju. RFC 9309 atbilstības atbalsts CPython tika pievienots 2026. gadā un pirmo reizi iekļauts Python 3.13.14 un 3.14.5. Vecākas versijas, ieskaitot visu 3.12 un vecākas, piemēro pirmo atbilstošo kārtulu faila secībā, nevis garāko, un nesaprot * vai $ ceļos. Šajās versijās skripts pirmo un ceturto testu rāda otrādi: Googlebot bloķēts no /search/help/billing un OAI-SearchBot atļauts ielādēt PDF.
Vēl divas atšķirības attiecas uz visām versijām. RobotFileParser.read() 401 vai 403 atbildi uz robots.txt uzskata par visa aizliegumu, kamēr RFC 9309 nosaka, ka 4xx nozīmē, ka visu drīkst ielādēt. Un read() lejupielādē failu ar Python noklusējuma user-agent, ko daži ugunsmūri bloķē, tāpēc tests var ziņot "bloķēts" iemeslu dēļ, kas nav saistīti ar jūsu kārtulām. Ja failu ielādējat pats un nododat to parse(), kā iepriekš, abas problēmas tiek novērstas.
Kāpēc robots.txt tests ir sekmīgs, bet rāpuļprogramma joprojām ir bloķēta?
Testeris atbild uz vienu jautājumu: vai kārtulas atļauj šo URL? Vairākas lietas ir ārpus šīs atbildes:
- Aktuālais fails atšķiras no pārbaudītā, vai rāpuļprogramma joprojām izmanto kešatmiņā saglabātu kopiju. RFC 9309 nosaka, ka rāpuļprogrammām nevajadzētu izmantot kešotu kopiju ilgāk par 24 stundām, un Google parasti kešo līdz 24 stundām.
- robots.txt URL atgriež HTML lapu vai kļūdu. HTML lapā ar statusu 200 nav derīgu kārtulu, un 5xx atbilde bloķē visu vietni.
- robots.txt ir lūgums, nevis piekļuves kontrole. Ugunsmūris, CDN vai aizsardzība pret robotiem joprojām var atbildēt rāpuļprogrammai ar 403 vai pārbaudes lapu.
Kā pārbaudīt robots.txt visām MI rāpuļprogrammām uzreiz?
Bezmaksas AISeeWhy robots.txt pārbaude pieņem lapas adresi vai ielīmētu robots.txt un katrai MI un meklētāju rāpuļprogrammai parāda, vai šo lapu drīkst ielādēt. Bezmaksas robots.txt ģenerators izveido failu pēc jūsu izvēles, un bezmaksas pārbaude ielādē lapu kā 16 rāpuļprogrammas, lai parādītu, vai ugunsmūris bloķē to, ko robots.txt atļauj.
Labojumi šai problēmai
- robots.txt atļauj GPTBot, bet serveris to bloķē
- robots.txt aizliedz OAI-SearchBot
- robots.txt ir HTML lapa
- robots.txt nevar ielādēt
Nākamie soļi
- robots.txt testeris un pārbaude MI rāpuļprogrammām
- Apskatiet pilna pārskata piemēru
- MI rāpuļprogrammu uzraudzība
- Plāni un cenas
Šajā rakstā minētās rāpuļprogrammas
Biežāk uzdotie jautājumi
Vai Google Search Console joprojām ir robots.txt tester?
Nē. Google 2023. gada novembrī to aizstāja ar robots.txt pārskatu, kas rāda Google ielādētos failus, to statusu un kļūdas. Lai pārbaudītu, vai Googlebot drīkst apstaigāt konkrētu URL, izmantojiet URL pārbaudes rīku.
Vai robots.txt Allow ir svarīgāks par Disallow?
Tikai tad, ja Allow kārtula ir garāka vai tieši tikpat gara. Uzvar kārtula ar garāko atbilstošo ceļu neatkarīgi no tās veida, un vienāda garuma gadījumā uzvar Allow.
Vai robots.txt ir reģistrjutīgs?
Daļēji. User-agent vērtība tiek salīdzināta, neņemot vērā reģistru, tāpēc gptbot un GPTBot nosauc vienu un to pašu grupu. Ceļi ir reģistrjutīgi, tāpēc Disallow: /Private/ nebloķē /private/.
Ko pārbauda robots.txt validators?
Validators pārbauda, vai fails ir sasniedzams, tiek pasniegts kā teksts un uzrakstīts ar derīgu sintaksi. Testeris iet tālāk un sniedz spriedumu konkrētam URL un rāpuļprogrammai. Parasti vajag abus, jo derīgs fails joprojām var bloķēt lapu, kuru gribējāt atļaut.
Ja rāpuļprogrammai ir sava grupa, vai tā joprojām ievēro User-agent: *?
Nē. Nosaukta grupa šai rāpuļprogrammai pilnībā aizstāj grupu *. Jebkura kārtula, kurai jāattiecas uz visiem, jāatkārto katrā nosauktajā grupā.
Avoti
- Google Search Console Help: robots.txt report
- Search Engine Roundtable: New Google Search Console robots.txt report replaced robots.txt tester tool
- Google Search Central: How Google interprets the robots.txt specification
- Google Search Central: Create and submit a robots.txt file
- RFC 9309: Robots Exclusion Protocol
- GitHub: google/robotstxt
- Python documentation: urllib.robotparser
- CPython pirmkods: Lib/urllib/robotparser.py