Kako testirati pravila robots.txt za URL i određeni crawler?
Da biste testirali URL za jedan crawler, pronađite grupu koja navodi token tog crawlera (ili User-agent: * ako takve nema), skupite sva pravila Allow i Disallow u njoj koja odgovaraju putanji URL-a i primijenite najduže; kod izjednačenja pobjeđuje Allow. To možete učiniti ručno, Googleovim parserom otvorenog koda ili alatom za provjeru koji daje presudu za svaki crawler. Stari robots.txt Tester u Search Consoleu više ne postoji, a izvješće o robots.txt koje ga je zamijenilo pokazuje što je Google dohvatio, a ne presudu za URL.
Datoteka robots.txt izgleda jednostavno dok vam ne zatreba siguran odgovor: smije li GPTBot dohvatiti ovu stranicu, a smije li OAI-SearchBot? Odgovor ovisi o tome koju grupu crawler odabere i koje pravilo u toj grupi pobjeđuje, a oba je koraka lako pogrešno protumačiti. Evo kako podudaranje funkcionira prema RFC 9309, četiri razrađena primjera i tri načina da sami testirate datoteku.
Na ovoj stranici
- Što se dogodilo s alatom robots.txt Tester u Google Search Consoleu?
- Kako crawler odlučuje je li URL dopušten?
- Možete li proći kroz primjer testiranja robots.txt?
- Kako pokrenuti Googleov parser za robots.txt otvorenog koda?
- Mogu li testirati robots.txt Pythonovim urllib.robotparser?
- Zašto test robots.txt prolazi, a crawler je i dalje blokiran?
- Kako odjednom provjeriti robots.txt za sve AI crawlere?
Što se dogodilo s alatom robots.txt Tester u Google Search Consoleu?
U studenome 2023. Google je u Search Console dodao izvješće o robots.txt i najavio ukidanje alata robots.txt tester. Izvješće se nalazi pod Postavkama i pokriva samo Googleove crawlere. Prikazuje:
- Datoteke robots.txt koje je Google pronašao za 20 najvažnijih hostova vašeg svojstva.
- Status dohvaćanja svake datoteke (
Fetched,Not Fetched - Not found (404)iliNot Fetched - Any other reason), kada ju je Google zadnji put provjerio i njezinu veličinu u bajtovima. - Probleme u datoteci. Google navodi da pogreške sprječavaju korištenje pravila, a upozorenja ne.
- Verzije koje je Google dohvatio u zadnjih 30 dana i gumb za zahtjev za ponovno indeksiranje nakon što ispravite datoteku.
Izvješće ne prima URL da bi vratilo dopušteno ili blokirano. Za provjeru jednog URL-a za Googlebot Google upućuje na alat za provjeru URL-a, a za lokalno testiranje na svoju biblioteku robots.txt otvorenog koda. Nijedno vam ne govori ništa o AI crawlerima poput GPTBot ili ClaudeBot.
Kako crawler odlučuje je li URL dopušten?
RFC 9309, Robots Exclusion Protocol, definira podudaranje. Google dokumentira isto ponašanje za svoje crawlere.
- Odaberite grupu. Podudaranje User-agenta ne razlikuje velika i mala slova. Ako jedna ili više grupa navode token crawlera, njihova se pravila kombiniraju, a grupa
User-agent: *potpuno se zanemaruje. Samo crawler bez vlastite grupe slijedi*. - Odaberite pravilo. Među pravilima
AllowiDisallowčija putanja odgovara URL-u pobjeđuje ono s najviše znakova. Ako suAllowiDisallowjednako dugi, trebao bi pobijeditiAllow. - Pročitajte uzorke.
*odgovara bilo kojem nizu znakova, a$označava kraj URL-a. Putanje razlikuju velika i mala slova, pa/Admin/ne odgovara/admin/. - Ako nijedno pravilo ne odgovara, URL je dopušten. Sama
/robots.txtuvijek je dopuštena.
Kod odgovora za robots.txt jednako je važan kao i pravila. Odgovor 4xx znači da crawler smije dohvatiti sve; Google svaki 4xx osim 429 tretira kao da datoteka ne postoji. Odgovor 5xx znači da crawler mora pretpostaviti da je cijela web-stranica zabranjena. Google prvih 12 sati prestaje indeksirati, a zatim do 30 dana koristi zadnju ispravnu kopiju. RFC 9309 zahtijeva da crawleri raščlane najmanje 500 KiB, a Google zanemaruje sve nakon 500 KiB.
Možete li proći kroz primjer testiranja robots.txt?
Evo male datoteke robots.txt sa zadanom grupom i dva imenovana AI crawlera:
Googleboti/search/help/billing: dopušteno. Nema grupe za Googlebot, pa se primjenjuje grupa*. Odgovaraju iDisallow: /searchiAllow: /search/help, a praviloAllowje duže.GPTBoti/blog/post: blokirano. GPTBot ima vlastitu grupu, aDisallow: /odgovara svakoj putanji.OAI-SearchBoti/admin/settings: dopušteno. OAI-SearchBot ima vlastitu grupu, pa seDisallow: /admin/iz grupe*na njega ne primjenjuje. Ovo je najčešće iznenađenje; zajednička pravila ponovite u svakoj imenovanoj grupi.OAI-SearchBoti/files/report.pdf: blokirano.Allow: /odgovara s jednim znakom,Disallow: /*.pdf$sa sedam, a pobjeđuje duže pravilo.
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$ Izjednačenja su rjeđa, ali slijede istu logiku. Googleova dokumentacija navodi slučaj allow: /folder i disallow: /folder za URL /folder/page: oba su jednako duga, pa je URL dopušten.
Kako pokrenuti Googleov parser za robots.txt otvorenog koda?
Google objavljuje C++ biblioteku koju u produkciji koristi za podudaranje pravila robots.txt, s malim programom naredbenog retka za testiranje jednog URL-a i jednog user agenta prema lokalnoj datoteci. Uz instaliran Bazel:
git clone https://github.com/google/robotstxt.git robotstxt
cd robotstxt/
bazel build :robots_main
# arguments: local robots.txt file, crawler token, full URL
bazel run robots_main -- ~/robots.txt OAI-SearchBot https://example.com/files/report.pdf
# prints ALLOWED or DISALLOWED; exit code 0 means allowed, 1 means disallowed Repozitorij dokumentira i izgradnju s CMakeom, koja proizvodi izvršnu datoteku robots s istim argumentima. Alat samo raščlanjuje i uspoređuje; ne preuzima robots.txt, pa najprije spremite datoteku s web-stranice. U njegovu README-u također piše da ponašanje specifično za pojedine crawlere izvan raščlambe i podudaranja nije dio biblioteke.
Mogu li testirati robots.txt Pythonovim urllib.robotparser?
Standardna biblioteka Pythona sadrži parser koji za user agenta i URL odgovara dopušteno ili blokirano. Ova skripta testira gornji primjer:
from urllib.robotparser import RobotFileParser
# Paste the robots.txt you want to test, or fetch it yourself first
ROBOTS_TXT = """
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$
"""
tests = [
("Googlebot", "https://example.com/search/help/billing"),
("GPTBot", "https://example.com/blog/post"),
("OAI-SearchBot", "https://example.com/admin/settings"),
("OAI-SearchBot", "https://example.com/files/report.pdf"),
]
rp = RobotFileParser()
rp.parse(ROBOTS_TXT.splitlines())
for agent, url in tests:
print(f"{agent:15} {url} ->", "allowed" if rp.can_fetch(agent, url) else "blocked") Prije nego što povjerujete rezultatu, provjerite verziju Pythona. Podrška za podudaranje prema RFC 9309 dodana je u CPython 2026. i prvi put isporučena u Pythonu 3.13.14 i 3.14.5. Starija izdanja, uključujući sva izdanja 3.12 i ranija, primjenjuju prvo odgovarajuće pravilo prema redoslijedu u datoteci, a ne najduže, i ne razumiju * ni $ unutar putanja. Na tim verzijama skripta prvi i četvrti test prijavljuje obrnuto: Googlebot blokiran za /search/help/billing, a OAI-SearchBot smije dohvatiti PDF.
Još dvije razlike vrijede za svaku verziju. RobotFileParser.read() odgovor 401 ili 403 za robots.txt tretira kao zabranu svega, dok RFC 9309 kaže da 4xx znači da se sve smije dohvatiti. Osim toga, read() preuzima datoteku sa zadanim user agentom Pythona, koji neki vatrozidi blokiraju, pa test može prijaviti blokadu iz razloga koji nemaju veze s vašim pravilima. Ako datoteku dohvatite sami i proslijedite je metodi parse(), kao gore, izbjegavate oboje.
Zašto test robots.txt prolazi, a crawler je i dalje blokiran?
Tester odgovara na jedno pitanje: dopuštaju li pravila ovaj URL? Nekoliko stvari ostaje izvan tog odgovora:
- Datoteka na web-stranici razlikuje se od one koju ste testirali ili crawler još koristi predmemoriranu kopiju. RFC 9309 kaže da crawleri ne bi trebali koristiti predmemoriranu kopiju dulje od 24 sata, a Google općenito predmemorira do 24 sata.
- URL datoteke robots.txt vraća HTML stranicu ili pogrešku. HTML stranica sa statusom 200 ne sadrži valjana pravila, a odgovor 5xx blokira cijelu web-stranicu.
- robots.txt je zahtjev, a ne kontrola pristupa. Vatrozid, CDN ili zaštita od botova i dalje mogu crawleru odgovoriti kodom 403 ili stranicom s provjerom.
Kako odjednom provjeriti robots.txt za sve AI crawlere?
Besplatna provjera robots.txt u AISeeWhyju prima adresu stranice ili zalijepljeni robots.txt i za svaki AI crawler i crawler tražilice pokazuje smije li dohvatiti tu stranicu. Besplatni generator robots.txt piše datoteku prema vašim odabirima, a besplatna provjera dohvaća stranicu kao 16 crawlera kako bi pokazala blokira li vatrozid ono što robots.txt dopušta.
Ispravci za ovaj problem
- robots.txt dopušta GPTBot, ali ga poslužitelj blokira
- robots.txt zabranjuje OAI-SearchBot
- robots.txt je HTML stranica
- robots.txt nije moguće dohvatiti
Sljedeći koraci
- robots.txt tester i provjera za AI crawlere
- Pogledajte primjer potpunog izvještaja
- Praćenje AI crawlera
- Planovi i cijene
Crawleri u ovom članku
Česta pitanja
Postoji li još robots.txt tester u Google Search Consoleu?
Ne. Google ga je u studenome 2023. zamijenio izvješćem o robots.txt, koje prikazuje datoteke koje je Google dohvatio, njihov status i eventualne pogreške. Da biste provjerili smije li Googlebot indeksirati određeni URL, koristite alat za provjeru URL-a.
Nadjačava li Allow pravilo Disallow u robots.txt?
Samo kad je pravilo Allow duže ili točno jednako dugo. Pobjeđuje pravilo s najdužom odgovarajućom putanjom, bez obzira na vrstu, a Allow pobjeđuje kod izjednačenja.
Razlikuje li robots.txt velika i mala slova?
Djelomično. Vrijednost User-agent uspoređuje se bez obzira na veličinu slova, pa gptbot i GPTBot označavaju istu grupu. Putanje razlikuju velika i mala slova, pa Disallow: /Private/ ne blokira /private/.
Što provjerava validator za robots.txt?
Validator provjerava je li datoteka dostupna, poslužuje li se kao tekst i je li sintaksa valjana. Tester ide dalje i daje presudu za određeni URL i crawler. Obično vam treba oboje, jer valjana datoteka i dalje može blokirati stranicu koju ste namjeravali dopustiti.
Ako crawler ima vlastitu grupu, slijedi li i dalje User-agent: *?
Ne. Imenovana grupa za taj crawler potpuno zamjenjuje grupu *. Svako pravilo koje želite primijeniti na sve morate ponoviti u svakoj imenovanoj grupi.
Izvori
- Google Search Console Help: robots.txt report
- Search Engine Roundtable: New Google Search Console robots.txt report replaced robots.txt tester tool
- Google Search Central: How Google interprets the robots.txt specification
- Google Search Central: Create and submit a robots.txt file
- RFC 9309: Robots Exclusion Protocol
- GitHub: google/robotstxt
- Python documentation: urllib.robotparser
- CPython source: Lib/urllib/robotparser.py