robots.txt tester i provjera za AI crawlere

Unesite adresu stranice: pročitat ćemo robots.txt web-stranice i za svaki AI i pretraživački crawler pokazati smije li dohvatiti tu stranicu. Ili zalijepite robots.txt i testirajte ga prije objave.

robots.txt je samo zamolba. Vatrozid ili zaštita od botova i dalje može blokirati crawler koji robots.txt dopušta; potpuna provjera to testira. Pokrenite potpunu provjeru →

Ista provjera za otvorenu stranicu, jednim klikom: Provjera AI crawlera ↗

Kako AI crawleri čitaju robots.txt

Svaki crawler slijedi grupu koja navodi njegov token (na primjer GPTBot ili PerplexityBot); tek ako takve nema, slijedi User-agent: *. Unutar grupe pobjeđuje najduže odgovarajuće pravilo, a pri izjednačenju pobjeđuje Allow. Blokiranje crawlera za treniranje kao što su GPTBot, ClaudeBot ili Google-Extended drži vaš sadržaj izvan treniranja modela; blokiranje crawlera za pretraživanje i dohvat za korisnika kao što su OAI-SearchBot, ChatGPT-User ili PerplexityBot drži vaše stranice izvan AI odgovora.

Vodič

Kako koristiti robots.txt tester

Ovaj je tekst strojno preveden s engleskog.

Što ovaj robots.txt tester provjerava

Unesite adresu stranice. Tester uzima shemu i host te adrese, čita /robots.txt iz korijena tog hosta i procjenjuje njegova pravila za putanju vaše stranice. Za svaki od 16 crawlera odgovara na jedno pitanje: smije li ovaj crawler dohvatiti ovu stranicu?

Crawleri su grupirani prema onome što rade. Crawleri za treniranje prikupljaju stranice za AI modele: GPTBot, ClaudeBot, CCBot, Bytespider i Meta-ExternalAgent, uz tokene Google-Extended i Applebot-Extended koji postoje samo u robots.txt: oni nikad sami ne dolaze, nego Googleu i Appleu govore smiju li koristiti stranice koje su već dohvatili. Pretraživački crawleri grade indekse koje citiraju AI odgovori i rezultati pretraživanja: OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot, Bingbot i Applebot. Korisnički agenti dohvaćaju stranicu kad osoba zamoli asistenta da je otvori: ChatGPT-User, Claude-User i Perplexity-User.

Umjesto adrese možete zalijepiti i robots.txt. Tada se ništa ne dohvaća: tester procjenjuje tekst koji ste zalijepili, pa promjenu možete isprobati prije objave. Zalijepljeni tekst koristi se za odgovor i ne sprema se.

Kako čitati rezultate

Tablica ima jedan redak po crawleru. Stupac za vašu putanju kaže Dopušteno ili Blokirano. Zadnji stupac kaže koji je dio datoteke odlučio:

Ispod tablice vidite retke Sitemap koje datoteka navodi i njezin redak Content-Signal, ako ga ima. Ako je adresa vratila web-stranicu umjesto tekstualne datoteke ili nije vratila nikakvu datoteku, tester to javlja: crawleri HTML stranicu na /robots.txt tretiraju kao datoteku koja nedostaje.

Redak s oznakom Dopušteno znači samo da robots.txt ne zaustavlja taj crawler. Ne znači da će crawler doći i ne govori ništa o vašem vatrozidu.

Kako crawler bira svoja pravila

RFC 9309, standard za robots.txt, postavlja tri pravila koja objašnjavaju gotovo svaki iznenađujući rezultat. Crawler najprije traži grupe čiji User-agent odgovara njegovu tokenu, bez obzira na velika i mala slova. Ako ih nađe, slijedi samo te grupe i potpuno zanemaruje User-agent: *. Unutar odabrane grupe pobjeđuje pravilo s najduljom podudarnom putanjom, a ako se Allow i Disallow podudaraju istom duljinom, pobjeđuje Allow.

User-agent: *
Disallow: /private/
Allow: /private/press/

User-agent: GPTBot
Disallow: /

S ovom datotekom GPTBot je blokiran za sve stranice jer ima vlastitu grupu. Svaki drugi crawler smije dohvatiti /private/press/kit.pdf jer je Allow: /private/press/ dulje od Disallow: /private/, a blokiran je za /private/notes/. Testirajte obje putanje u testeru i vidjet ćete kako odluka prelazi s jedne grupe na drugu.

Česte pogreške, s primjerima

Crawleri za treniranje, pretraživanje i korisnike: što donosi blokiranje svakoga

Blokiranje crawlera za treniranje stvar je politike. Drži vaše stranice izvan budućeg treniranja modela i ne utječe na to može li vas AI pretraživanje danas citirati. Blokiranje pretraživačkog crawlera kao što su OAI-SearchBot, Claude-SearchBot ili PerplexityBot drži vaše stranice izvan odgovora tog asistenta. Blokiranje Googlebot ili Bingbot uklanja vas iz tih tražilica i iz AI funkcija izgrađenih na njima.

Korisnički agenti kao što je ChatGPT-User djeluju za osobu koja je zatražila vašu stranicu. Neki dobavljači kažu da ti agenti za takve zahtjeve možda ne slijede robots.txt, pa je pravilo za njih molba, a ne jamstvo. Ako želite isključiti treniranje, a zadržati AI pretraživanje, blokirajte tokene za treniranje, a tokene za pretraživanje i korisnike ostavite na miru.

Testirajte prije objave, a zatim ponovno

Zalijepite nacrt u tester, postavite putanju važne stranice, primjerice stranice proizvoda ili cijena, i pročitajte redak svakog crawlera koji vam je važan. Ponovite s putanjom koju ste htjeli blokirati. Kad rezultati odgovaraju vašoj namjeri, objavite datoteku i ponovno pokrenite tester sa stvarnom adresom, čime dokazujete da poslužitelj vraća datoteku koju ste uredili.

Crawleri spremaju robots.txt u predmemoriju; Google, primjerice, svoju kopiju obično osvježava unutar 24 sata. Promjena se u njihovu ponašanju može pokazati tek za dan, a izvješće robots.txt u Google Search Console prikazuje kopiju koju je Google zadnju dohvatio.

Kad robots.txt dopušta crawler, a on je i dalje blokiran

robots.txt je samo molba. Vatrozid, usluga zaštite od botova ili pravilo CDN-a i dalje mogu crawleru odgovoriti s 403 ili stranicom s izazovom, dok ljudi dobivaju stranicu. Tester to ne može vidjeti jer čita samo jednu datoteku. Potpuna provjera dohvaća vašu stranicu s user agentom svakog crawlera uz običan preglednik i pokazuje koji crawler dobiva drukčiji odgovor, s HTTP statusom i potpisom vatrozida.

Česta pitanja

Je li ovo isto što i Googleov robots.txt Tester?

Ne. Google je 2023. ukinuo svoj samostalni robots.txt Tester; izvješće robots.txt u Search Consoleu sada prikazuje datoteku koju je Google dohvatio i eventualne pogreške raščlanjivanja, samo za Googleove crawlere. Ovaj tester primjenjuje ista pravila RFC 9309 na 16 AI i pretraživačkih crawlera odjednom.

Znači li Dopušteno da će crawler pročitati ili citirati moju stranicu?

Ne. Znači da robots.txt to ne zabranjuje. Hoće li crawler dobiti stranicu ovisi o vašem poslužitelju i vatrozidu, a hoće li je asistent citirati ovisi o vašem sadržaju i postavljenom pitanju.

Zašto crawler prikazuje „nema pravila”?

Vaša datoteka nema grupu za njegov token ni grupu User-agent: *, pa se na njega ništa ne primjenjuje i svaka je putanja dopuštena.

Mogu li testirati robots.txt koji još nije objavljen?

Da. Zalijepite tekst u drugo polje i unesite putanju za testiranje. S vaše se stranice ništa ne dohvaća, a zalijepljeni tekst se ne sprema.

Šalje li tester zahtjeve kao GPTBot ili drugi crawleri?

Ne. Samo čita vaš robots.txt i primjenjuje pravila. Da vidite što svaki crawler stvarno dobiva od vašeg poslužitelja, pokrenite potpunu provjeru.

Koliko ga često mogu koristiti?

Besplatan je i ne treba račun. Da bi ostao dostupan svima, svaka mreža može pokrenuti ograničen broj testova na sat.

Povezani alati i vodiči