Unesite adresu stranice: pročitat ćemo robots.txt web-stranice i za svaki AI i pretraživački crawler pokazati smije li dohvatiti tu stranicu. Ili zalijepite robots.txt i testirajte ga prije objave.
robots.txt je samo zamolba. Vatrozid ili zaštita od botova i dalje može blokirati crawler koji robots.txt dopušta; potpuna provjera to testira. Pokrenite potpunu provjeru →
Svaki crawler slijedi grupu koja navodi njegov token (na primjer GPTBot ili PerplexityBot); tek ako takve nema, slijedi User-agent: *. Unutar grupe pobjeđuje najduže odgovarajuće pravilo, a pri izjednačenju pobjeđuje Allow. Blokiranje crawlera za treniranje kao što su GPTBot, ClaudeBot ili Google-Extended drži vaš sadržaj izvan treniranja modela; blokiranje crawlera za pretraživanje i dohvat za korisnika kao što su OAI-SearchBot, ChatGPT-User ili PerplexityBot drži vaše stranice izvan AI odgovora.
Vodič
Kako koristiti robots.txt tester
Ovaj je tekst strojno preveden s engleskog.
Što ovaj robots.txt tester provjerava
Unesite adresu stranice. Tester uzima shemu i host te adrese, čita /robots.txt iz korijena tog hosta i procjenjuje njegova pravila za putanju vaše stranice. Za svaki od 16 crawlera odgovara na jedno pitanje: smije li ovaj crawler dohvatiti ovu stranicu?
Crawleri su grupirani prema onome što rade. Crawleri za treniranje prikupljaju stranice za AI modele: GPTBot, ClaudeBot, CCBot, Bytespider i Meta-ExternalAgent, uz tokene Google-Extended i Applebot-Extended koji postoje samo u robots.txt: oni nikad sami ne dolaze, nego Googleu i Appleu govore smiju li koristiti stranice koje su već dohvatili. Pretraživački crawleri grade indekse koje citiraju AI odgovori i rezultati pretraživanja: OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot, Bingbot i Applebot. Korisnički agenti dohvaćaju stranicu kad osoba zamoli asistenta da je otvori: ChatGPT-User, Claude-User i Perplexity-User.
Umjesto adrese možete zalijepiti i robots.txt. Tada se ništa ne dohvaća: tester procjenjuje tekst koji ste zalijepili, pa promjenu možete isprobati prije objave. Zalijepljeni tekst koristi se za odgovor i ne sprema se.
Kako čitati rezultate
Tablica ima jedan redak po crawleru. Stupac za vašu putanju kaže Dopušteno ili Blokirano. Zadnji stupac kaže koji je dio datoteke odlučio:
Vlastita grupa: datoteka ima redak User-agent s tokenom ovog crawlera i za njega vrijede samo pravila te grupe.
User-agent: *: nijedna grupa ne navodi crawler, pa on slijedi opću grupu.
Nema pravila: ne primjenjuje se nijedna grupa, pa je stranica dopuštena.
Ispod tablice vidite retke Sitemap koje datoteka navodi i njezin redak Content-Signal, ako ga ima. Ako je adresa vratila web-stranicu umjesto tekstualne datoteke ili nije vratila nikakvu datoteku, tester to javlja: crawleri HTML stranicu na /robots.txt tretiraju kao datoteku koja nedostaje.
Redak s oznakom Dopušteno znači samo da robots.txt ne zaustavlja taj crawler. Ne znači da će crawler doći i ne govori ništa o vašem vatrozidu.
Kako crawler bira svoja pravila
RFC 9309, standard za robots.txt, postavlja tri pravila koja objašnjavaju gotovo svaki iznenađujući rezultat. Crawler najprije traži grupe čiji User-agent odgovara njegovu tokenu, bez obzira na velika i mala slova. Ako ih nađe, slijedi samo te grupe i potpuno zanemaruje User-agent: *. Unutar odabrane grupe pobjeđuje pravilo s najduljom podudarnom putanjom, a ako se Allow i Disallow podudaraju istom duljinom, pobjeđuje Allow.
S ovom datotekom GPTBot je blokiran za sve stranice jer ima vlastitu grupu. Svaki drugi crawler smije dohvatiti /private/press/kit.pdf jer je Allow: /private/press/ dulje od Disallow: /private/, a blokiran je za /private/notes/. Testirajte obje putanje u testeru i vidjet ćete kako odluka prelazi s jedne grupe na drugu.
Česte pogreške, s primjerima
Uzastopni retci User-agent dijele jednu grupu. Datoteka s User-agent: GPTBot, zatim User-agent: OAI-SearchBot, pa Disallow: / blokira oba crawlera, pa stranica koja je htjela zaustaviti treniranje nestaje i iz pretraživanja ChatGPT-a.
Blokiranje pogrešnog OpenAI tokena. GPTBot prikuplja podatke za treniranje; OAI-SearchBot odlučuje može li vas pretraživanje ChatGPT-a prikazati i citirati. Blokiranje OAI-SearchBot ili ChatGPT-User radi zaustavljanja treniranja umjesto toga vas uklanja iz odgovora.
Jedan znak okreće pravilo. Disallow: bez ičega iza dopušta sve; Disallow: / blokira sve.
Putanje razlikuju velika i mala slova. Disallow: /Blog/ ne blokira /blog/.
Zamjenski znakovi traže oprez. Disallow: /*.pdf blokira i /file.pdf?download=1; Disallow: /*.pdf$ blokira samo adrese koje završavaju na .pdf.
Datoteka je na pogrešnom hostu. robots.txt vrijedi samo za shemu i host s kojih se poslužuje, pa www.example.com, example.com i shop.example.com trebaju svaki svoju datoteku.
Poslužitelj odgovara pogreškom. Odgovor 4xx znači da crawleri smiju dohvaćati sve. Odgovor 5xx ili istek vremena znači da moraju pretpostaviti da je sve zabranjeno dok se datoteka ponovno ne može pročitati, pa neispravan /robots.txt može zaustaviti svo indeksiranje.
Pravila koja crawleri ne slijede. Noindex: i Crawl-delay: nisu dio RFC 9309, a Google zanemaruje oba.
Očekivanje da robots.txt ukloni stranicu iz pretraživanja. On zaustavlja indeksiranje sadržaja, ne uvrštavanje u indeks: blokirana adresa i dalje može biti navedena bez svog teksta. Da stranicu zadržite izvan indeksa, dopustite crawling i koristite meta oznaku ili zaglavlje noindex.
Crawleri za treniranje, pretraživanje i korisnike: što donosi blokiranje svakoga
Blokiranje crawlera za treniranje stvar je politike. Drži vaše stranice izvan budućeg treniranja modela i ne utječe na to može li vas AI pretraživanje danas citirati. Blokiranje pretraživačkog crawlera kao što su OAI-SearchBot, Claude-SearchBot ili PerplexityBot drži vaše stranice izvan odgovora tog asistenta. Blokiranje Googlebot ili Bingbot uklanja vas iz tih tražilica i iz AI funkcija izgrađenih na njima.
Korisnički agenti kao što je ChatGPT-User djeluju za osobu koja je zatražila vašu stranicu. Neki dobavljači kažu da ti agenti za takve zahtjeve možda ne slijede robots.txt, pa je pravilo za njih molba, a ne jamstvo. Ako želite isključiti treniranje, a zadržati AI pretraživanje, blokirajte tokene za treniranje, a tokene za pretraživanje i korisnike ostavite na miru.
Testirajte prije objave, a zatim ponovno
Zalijepite nacrt u tester, postavite putanju važne stranice, primjerice stranice proizvoda ili cijena, i pročitajte redak svakog crawlera koji vam je važan. Ponovite s putanjom koju ste htjeli blokirati. Kad rezultati odgovaraju vašoj namjeri, objavite datoteku i ponovno pokrenite tester sa stvarnom adresom, čime dokazujete da poslužitelj vraća datoteku koju ste uredili.
Crawleri spremaju robots.txt u predmemoriju; Google, primjerice, svoju kopiju obično osvježava unutar 24 sata. Promjena se u njihovu ponašanju može pokazati tek za dan, a izvješće robots.txt u Google Search Console prikazuje kopiju koju je Google zadnju dohvatio.
Kad robots.txt dopušta crawler, a on je i dalje blokiran
robots.txt je samo molba. Vatrozid, usluga zaštite od botova ili pravilo CDN-a i dalje mogu crawleru odgovoriti s 403 ili stranicom s izazovom, dok ljudi dobivaju stranicu. Tester to ne može vidjeti jer čita samo jednu datoteku. Potpuna provjera dohvaća vašu stranicu s user agentom svakog crawlera uz običan preglednik i pokazuje koji crawler dobiva drukčiji odgovor, s HTTP statusom i potpisom vatrozida.
Česta pitanja
Je li ovo isto što i Googleov robots.txt Tester?
Ne. Google je 2023. ukinuo svoj samostalni robots.txt Tester; izvješće robots.txt u Search Consoleu sada prikazuje datoteku koju je Google dohvatio i eventualne pogreške raščlanjivanja, samo za Googleove crawlere. Ovaj tester primjenjuje ista pravila RFC 9309 na 16 AI i pretraživačkih crawlera odjednom.
Znači li Dopušteno da će crawler pročitati ili citirati moju stranicu?
Ne. Znači da robots.txt to ne zabranjuje. Hoće li crawler dobiti stranicu ovisi o vašem poslužitelju i vatrozidu, a hoće li je asistent citirati ovisi o vašem sadržaju i postavljenom pitanju.
Zašto crawler prikazuje „nema pravila”?
Vaša datoteka nema grupu za njegov token ni grupu User-agent: *, pa se na njega ništa ne primjenjuje i svaka je putanja dopuštena.
Mogu li testirati robots.txt koji još nije objavljen?
Da. Zalijepite tekst u drugo polje i unesite putanju za testiranje. S vaše se stranice ništa ne dohvaća, a zalijepljeni tekst se ne sprema.
Šalje li tester zahtjeve kao GPTBot ili drugi crawleri?
Ne. Samo čita vaš robots.txt i primjenjuje pravila. Da vidite što svaki crawler stvarno dobiva od vašeg poslužitelja, pokrenite potpunu provjeru.
Koliko ga često mogu koristiti?
Besplatan je i ne treba račun. Da bi ostao dostupan svima, svaka mreža može pokrenuti ograničen broj testova na sat.