Tester in preverjanje robots.txt za pajke UI

Vnesite naslov strani: preberemo robots.txt spletnega mesta in za vsakega pajka UI in iskalnika pokažemo, ali sme prenesti to stran. Lahko pa prilepite robots.txt in ga preizkusite, preden ga objavite.

robots.txt je samo prošnja. Požarni zid ali zaščita pred boti lahko še vedno blokira pajka, ki ga robots.txt dovoli; celotno preverjanje to preizkusi. Zaženite celotno preverjanje →

Enako preverjanje za odprto stran, z enim klikom: Preverjanje pajkov UI ↗

Kako pajki UI berejo robots.txt

Vsak pajek sledi skupini, ki navaja njegovo oznako (na primer GPTBot ali PerplexityBot); šele če take ni, sledi User-agent: *. Znotraj skupine zmaga najdaljše ujemajoče se pravilo, pri izenačenju pa Allow. Blokiranje pajkov za učenje, kot so GPTBot, ClaudeBot ali Google-Extended, ohrani vašo vsebino zunaj učenja modelov; blokiranje pajkov za iskanje in uporabniške zahteve, kot so OAI-SearchBot, ChatGPT-User ali PerplexityBot, ohrani vaše strani zunaj odgovorov UI.

Vodnik

Kako uporabljati tester robots.txt

To besedilo je bilo strojno prevedeno iz angleščine.

Kaj preverja ta tester robots.txt

Vnesite naslov strani. Tester vzame shemo in gostitelja tega naslova, prebere /robots.txt iz korena tega gostitelja in ovrednoti njegova pravila za pot vaše strani. Za vsakega od 16 pajkov odgovori na eno vprašanje: ali sme ta pajek prenesti to stran?

Pajki so razvrščeni po tem, kaj počnejo. Pajki za učenje zbirajo strani za modele UI: GPTBot, ClaudeBot, CCBot, Bytespider in Meta-ExternalAgent, poleg tega še oznaki Google-Extended in Applebot-Extended, ki obstajata samo v robots.txt: nikoli ne prideta sami, temveč Googlu in Applu povesta, ali smeta uporabiti strani, ki sta jih že prenesla. Pajki iskalnikov gradijo indekse, ki jih navajajo odgovori UI in rezultati iskanja: OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot, Bingbot in Applebot. Uporabniški agenti prenesejo stran, ko oseba prosi pomočnika, naj jo odpre: ChatGPT-User, Claude-User in Perplexity-User.

Namesto naslova lahko prilepite tudi robots.txt. Takrat se nič ne prenese: tester ovrednoti besedilo, ki ste ga prilepili, zato lahko spremembo preizkusite, preden jo objavite. Prilepljeno besedilo se uporabi za odgovor in se ne shrani.

Kako brati rezultate

Tabela ima eno vrstico na pajka. Stolpec za vašo pot pravi Dovoljeno ali Blokirano. Zadnji stolpec pove, kateri del datoteke je odločil:

Pod tabelo vidite vrstice Sitemap, ki jih datoteka navaja, in njeno vrstico Content-Signal, če jo ima. Če je naslov vrnil spletno stran namesto besedilne datoteke ali sploh nobene datoteke, tester to pove: pajki stran HTML na /robots.txt obravnavajo kot manjkajočo datoteko.

Vrstica z oznako Dovoljeno pomeni le, da robots.txt tega pajka ne ustavi. Ne pomeni, da bo pajek prišel, in ne pove ničesar o vašem požarnem zidu.

Kako pajek izbere svoja pravila

RFC 9309, standard za robots.txt, določa tri pravila, ki pojasnijo skoraj vsak presenetljiv rezultat. Pajek najprej išče skupine, katerih User-agent se ujema z njegovo oznako, ne glede na velike in male črke. Če jih najde, sledi samo tem skupinam in User-agent: * povsem prezre. Znotraj izbrane skupine zmaga pravilo z najdaljšo ujemajočo se potjo, in če se Allow in Disallow ujemata z enako dolžino, zmaga Allow.

User-agent: *
Disallow: /private/
Allow: /private/press/

User-agent: GPTBot
Disallow: /

S to datoteko je GPTBot blokiran za vse strani, ker ima lastno skupino. Vsak drug pajek sme prenesti /private/press/kit.pdf, ker je Allow: /private/press/ daljše od Disallow: /private/, za /private/notes/ pa je blokiran. Preizkusite obe poti v testerju in videli boste, kako odločitev preide z ene skupine na drugo.

Pogoste napake s primeri

Pajki za učenje, iskanje in uporabnike: kaj prinese blokiranje vsakega

Blokiranje pajka za učenje je stvar politike. Vaše strani obdrži zunaj prihodnjega učenja modelov in ne vpliva na to, ali vas iskanje z UI danes lahko navede. Blokiranje pajka iskalnika, kot so OAI-SearchBot, Claude-SearchBot ali PerplexityBot, vaše strani obdrži zunaj odgovorov tega pomočnika. Blokiranje Googlebot ali Bingbot vas odstrani iz teh iskalnikov in iz funkcij UI, zgrajenih na njih.

Uporabniški agenti, kot je ChatGPT-User, delujejo za osebo, ki je zahtevala vašo stran. Nekateri ponudniki pravijo, da ti agenti pri takih zahtevah morda ne sledijo robots.txt, zato je pravilo zanje prošnja, ne jamstvo. Če želite izklopiti učenje in ohraniti iskanje z UI, blokirajte oznake za učenje, oznake za iskanje in uporabnike pa pustite pri miru.

Preizkusite pred objavo in nato znova

Prilepite osnutek v tester, nastavite pot pomembne strani, na primer strani izdelka ali cen, in preberite vrstico vsakega pajka, ki vam je pomemben. Ponovite s potjo, ki ste jo želeli blokirati. Ko se rezultati ujemajo z vašim namenom, objavite datoteko in znova zaženite tester z živim naslovom, kar dokaže, da strežnik vrača datoteko, ki ste jo uredili.

Pajki robots.txt shranjujejo v predpomnilnik; Google na primer svojo kopijo običajno osveži v 24 urah. Sprememba se lahko v njihovem vedenju pokaže šele čez dan, poročilo robots.txt v Google Search Console pa prikazuje kopijo, ki jo je Google nazadnje prenesel.

Ko robots.txt pajka dovoli, a je ta še vedno blokiran

robots.txt je le prošnja. Požarni zid, storitev za zaščito pred boti ali pravilo CDN lahko pajku še vedno odgovori s 403 ali stranjo z izzivom, medtem ko ljudje dobijo stran. Tester tega ne vidi, ker prebere le eno datoteko. Celotno preverjanje prenese vašo stran z user agentom vsakega pajka vzporedno z običajnim brskalnikom in pokaže, kateri pajek dobi drugačen odgovor, s statusom HTTP in podpisom požarnega zidu.

Pogosta vprašanja

Ali je to isto kot Googlov robots.txt Tester?

Ne. Google je leta 2023 ukinil svoj samostojni robots.txt Tester; poročilo robots.txt v Search Console zdaj prikazuje datoteko, ki jo je Google prenesel, in morebitne napake razčlenjevanja, samo za Googlove pajke. Ta tester uporabi ista pravila RFC 9309 za 16 pajkov UI in iskalnikov hkrati.

Ali Dovoljeno pomeni, da bo pajek prebral ali navedel mojo stran?

Ne. Pomeni, da robots.txt tega ne prepoveduje. Ali bo pajek dobil stran, je odvisno od vašega strežnika in požarnega zidu, ali jo bo pomočnik navedel, pa od vaše vsebine in zastavljenega vprašanja.

Zakaj pajek prikazuje »ni pravila«?

Vaša datoteka nima skupine za njegovo oznako in nima skupine User-agent: *, zato zanj ne velja nič in je vsaka pot dovoljena.

Ali lahko preizkusim robots.txt, ki še ni objavljen?

Da. Prilepite besedilo v drugo polje in vnesite pot za preizkus. Z vašega spletnega mesta se nič ne prenese in prilepljeno besedilo se ne shrani.

Ali tester pošilja zahteve kot GPTBot ali drugi pajki?

Ne. Le prebere vaš robots.txt in uporabi pravila. Če želite videti, kaj vsak pajek dejansko prejme od vašega strežnika, zaženite celotno preverjanje.

Kako pogosto ga lahko uporabljam?

Brezplačen je in ne potrebuje računa. Da ostane na voljo vsem, lahko vsako omrežje zažene omejeno število preizkusov na uro.

Sorodna orodja in vodniki