Kako testirati pravila robots.txt za URL i određeni crawler?

Objavljeno

Kratki odgovor

Da biste testirali URL za jedan crawler, pronađite grupu koja navodi token tog crawlera (ili User-agent: * ako takve nema), skupite sva pravila Allow i Disallow u njoj koja odgovaraju putanji URL-a i primijenite najduže; kod izjednačenja pobjeđuje Allow. To možete učiniti ručno, Googleovim parserom otvorenog koda ili alatom za provjeru koji daje presudu za svaki crawler. Stari robots.txt Tester u Search Consoleu više ne postoji, a izvješće o robots.txt koje ga je zamijenilo pokazuje što je Google dohvatio, a ne presudu za URL.

Datoteka robots.txt izgleda jednostavno dok vam ne zatreba siguran odgovor: smije li GPTBot dohvatiti ovu stranicu, a smije li OAI-SearchBot? Odgovor ovisi o tome koju grupu crawler odabere i koje pravilo u toj grupi pobjeđuje, a oba je koraka lako pogrešno protumačiti. Evo kako podudaranje funkcionira prema RFC 9309, četiri razrađena primjera i tri načina da sami testirate datoteku.

Na ovoj stranici
  1. Što se dogodilo s alatom robots.txt Tester u Google Search Consoleu?
  2. Kako crawler odlučuje je li URL dopušten?
  3. Možete li proći kroz primjer testiranja robots.txt?
  4. Kako pokrenuti Googleov parser za robots.txt otvorenog koda?
  5. Mogu li testirati robots.txt Pythonovim urllib.robotparser?
  6. Zašto test robots.txt prolazi, a crawler je i dalje blokiran?
  7. Kako odjednom provjeriti robots.txt za sve AI crawlere?

Što se dogodilo s alatom robots.txt Tester u Google Search Consoleu?

U studenome 2023. Google je u Search Console dodao izvješće o robots.txt i najavio ukidanje alata robots.txt tester. Izvješće se nalazi pod Postavkama i pokriva samo Googleove crawlere. Prikazuje:

Izvješće ne prima URL da bi vratilo dopušteno ili blokirano. Za provjeru jednog URL-a za Googlebot Google upućuje na alat za provjeru URL-a, a za lokalno testiranje na svoju biblioteku robots.txt otvorenog koda. Nijedno vam ne govori ništa o AI crawlerima poput GPTBot ili ClaudeBot.

Kako crawler odlučuje je li URL dopušten?

RFC 9309, Robots Exclusion Protocol, definira podudaranje. Google dokumentira isto ponašanje za svoje crawlere.

Kod odgovora za robots.txt jednako je važan kao i pravila. Odgovor 4xx znači da crawler smije dohvatiti sve; Google svaki 4xx osim 429 tretira kao da datoteka ne postoji. Odgovor 5xx znači da crawler mora pretpostaviti da je cijela web-stranica zabranjena. Google prvih 12 sati prestaje indeksirati, a zatim do 30 dana koristi zadnju ispravnu kopiju. RFC 9309 zahtijeva da crawleri raščlane najmanje 500 KiB, a Google zanemaruje sve nakon 500 KiB.

Možete li proći kroz primjer testiranja robots.txt?

Evo male datoteke robots.txt sa zadanom grupom i dva imenovana AI crawlera:

User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$

Izjednačenja su rjeđa, ali slijede istu logiku. Googleova dokumentacija navodi slučaj allow: /folder i disallow: /folder za URL /folder/page: oba su jednako duga, pa je URL dopušten.

Kako pokrenuti Googleov parser za robots.txt otvorenog koda?

Google objavljuje C++ biblioteku koju u produkciji koristi za podudaranje pravila robots.txt, s malim programom naredbenog retka za testiranje jednog URL-a i jednog user agenta prema lokalnoj datoteci. Uz instaliran Bazel:

git clone https://github.com/google/robotstxt.git robotstxt
cd robotstxt/
bazel build :robots_main
# arguments: local robots.txt file, crawler token, full URL
bazel run robots_main -- ~/robots.txt OAI-SearchBot https://example.com/files/report.pdf
# prints ALLOWED or DISALLOWED; exit code 0 means allowed, 1 means disallowed

Repozitorij dokumentira i izgradnju s CMakeom, koja proizvodi izvršnu datoteku robots s istim argumentima. Alat samo raščlanjuje i uspoređuje; ne preuzima robots.txt, pa najprije spremite datoteku s web-stranice. U njegovu README-u također piše da ponašanje specifično za pojedine crawlere izvan raščlambe i podudaranja nije dio biblioteke.

Mogu li testirati robots.txt Pythonovim urllib.robotparser?

Standardna biblioteka Pythona sadrži parser koji za user agenta i URL odgovara dopušteno ili blokirano. Ova skripta testira gornji primjer:

from urllib.robotparser import RobotFileParser

# Paste the robots.txt you want to test, or fetch it yourself first
ROBOTS_TXT = """
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$
"""

tests = [
    ("Googlebot", "https://example.com/search/help/billing"),
    ("GPTBot", "https://example.com/blog/post"),
    ("OAI-SearchBot", "https://example.com/admin/settings"),
    ("OAI-SearchBot", "https://example.com/files/report.pdf"),
]

rp = RobotFileParser()
rp.parse(ROBOTS_TXT.splitlines())
for agent, url in tests:
    print(f"{agent:15} {url}  ->", "allowed" if rp.can_fetch(agent, url) else "blocked")

Prije nego što povjerujete rezultatu, provjerite verziju Pythona. Podrška za podudaranje prema RFC 9309 dodana je u CPython 2026. i prvi put isporučena u Pythonu 3.13.14 i 3.14.5. Starija izdanja, uključujući sva izdanja 3.12 i ranija, primjenjuju prvo odgovarajuće pravilo prema redoslijedu u datoteci, a ne najduže, i ne razumiju * ni $ unutar putanja. Na tim verzijama skripta prvi i četvrti test prijavljuje obrnuto: Googlebot blokiran za /search/help/billing, a OAI-SearchBot smije dohvatiti PDF.

Još dvije razlike vrijede za svaku verziju. RobotFileParser.read() odgovor 401 ili 403 za robots.txt tretira kao zabranu svega, dok RFC 9309 kaže da 4xx znači da se sve smije dohvatiti. Osim toga, read() preuzima datoteku sa zadanim user agentom Pythona, koji neki vatrozidi blokiraju, pa test može prijaviti blokadu iz razloga koji nemaju veze s vašim pravilima. Ako datoteku dohvatite sami i proslijedite je metodi parse(), kao gore, izbjegavate oboje.

Zašto test robots.txt prolazi, a crawler je i dalje blokiran?

Tester odgovara na jedno pitanje: dopuštaju li pravila ovaj URL? Nekoliko stvari ostaje izvan tog odgovora:

Kako odjednom provjeriti robots.txt za sve AI crawlere?

Besplatna provjera robots.txt u AISeeWhyju prima adresu stranice ili zalijepljeni robots.txt i za svaki AI crawler i crawler tražilice pokazuje smije li dohvatiti tu stranicu. Besplatni generator robots.txt piše datoteku prema vašim odabirima, a besplatna provjera dohvaća stranicu kao 16 crawlera kako bi pokazala blokira li vatrozid ono što robots.txt dopušta.

Ispravci za ovaj problem

Besplatni alati

Sljedeći koraci

Crawleri u ovom članku

Česta pitanja

Postoji li još robots.txt tester u Google Search Consoleu?

Ne. Google ga je u studenome 2023. zamijenio izvješćem o robots.txt, koje prikazuje datoteke koje je Google dohvatio, njihov status i eventualne pogreške. Da biste provjerili smije li Googlebot indeksirati određeni URL, koristite alat za provjeru URL-a.

Nadjačava li Allow pravilo Disallow u robots.txt?

Samo kad je pravilo Allow duže ili točno jednako dugo. Pobjeđuje pravilo s najdužom odgovarajućom putanjom, bez obzira na vrstu, a Allow pobjeđuje kod izjednačenja.

Razlikuje li robots.txt velika i mala slova?

Djelomično. Vrijednost User-agent uspoređuje se bez obzira na veličinu slova, pa gptbot i GPTBot označavaju istu grupu. Putanje razlikuju velika i mala slova, pa Disallow: /Private/ ne blokira /private/.

Što provjerava validator za robots.txt?

Validator provjerava je li datoteka dostupna, poslužuje li se kao tekst i je li sintaksa valjana. Tester ide dalje i daje presudu za određeni URL i crawler. Obično vam treba oboje, jer valjana datoteka i dalje može blokirati stranicu koju ste namjeravali dopustiti.

Ako crawler ima vlastitu grupu, slijedi li i dalje User-agent: *?

Ne. Imenovana grupa za taj crawler potpuno zamjenjuje grupu *. Svako pravilo koje želite primijeniti na sve morate ponoviti u svakoj imenovanoj grupi.

Izvori

Još članaka