robots.txt testija ja kontrollija AI-robotitele

Sisesta lehe aadress: loeme saidi robots.txt-d ja näitame iga AI- ja otsinguroboti kohta, kas see tohib seda lehte laadida. Või kleebi robots.txt, et seda enne avaldamist testida.

robots.txt on ainult palve. Tulemüür või robotikaitse võib siiski blokeerida roboti, mida robots.txt lubab; täiskontroll testib seda. Käivita täiskontroll →

Sama kontroll avatud lehele ühe klõpsuga: AI-robotite kontrollija ↗

Kuidas AI-robotid robots.txt-d loevad

Iga robot järgib gruppi, mis nimetab tema tunnust (näiteks GPTBot või PerplexityBot); ainult siis, kui ükski grupp seda ei tee, järgib ta User-agent: * gruppi. Grupi sees võidab pikim sobiv reegel ja viigi korral võidab Allow. Treeningrobotite, nagu GPTBot, ClaudeBot või Google-Extended, blokeerimine hoiab sinu sisu mudelite treenimisest eemal; otsingu- ja kasutajarobotite, nagu OAI-SearchBot, ChatGPT-User või PerplexityBot, blokeerimine hoiab sinu lehed AI-vastustest eemal.

Juhend

Kuidas kasutada robots.txt testijat

See tekst on inglise keelest masintõlgitud.

Mida see robots.txt testija kontrollib

Sisesta lehe aadress. Testija võtab aadressist skeemi ja hosti, loeb hosti juurest faili /robots.txt ja hindab selle reegleid sinu lehe tee suhtes. See vastab iga 16 roboti kohta ühele küsimusele: kas see robot tohib seda lehte laadida?

Robotid on rühmitatud selle järgi, mida nad teevad. Treeningrobotid koguvad lehti AI-mudelite jaoks: GPTBot, ClaudeBot, CCBot, Bytespider ja Meta-ExternalAgent, lisaks ainult robots.txt-s kasutatavad tunnused Google-Extended ja Applebot-Extended, mis ise kunagi ei külasta, vaid ütlevad Google'ile ja Apple'ile, kas nad tohivad juba laaditud lehti kasutada. Otsingurobotid ehitavad indekseid, millele AI-vastused ja otsingutulemused viitavad: OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot, Bingbot ja Applebot. User agent'id laadivad lehe, kui inimene palub assistendil selle avada: ChatGPT-User, Claude-User ja Perplexity-User.

Aadressi asemel võid kleepida ka robots.txt sisu. Siis midagi ei laadita: testija hindab kleebitud teksti, nii et saad muudatust enne avaldamist proovida. Kleebitud teksti kasutatakse ainult vastamiseks ja seda ei salvestata.

Kuidas tulemusi lugeda

Tabelis on iga roboti kohta üks rida. Sinu tee veerus on Lubatud või Blokeeritud. Viimane veerg näitab, milline faili osa otsustas:

Tabeli all näed failis loetletud Sitemap ridu ja selle Content-Signal rida, kui see on olemas. Kui aadress tagastas tekstifaili asemel veebilehe või üldse mitte faili, ütleb testija seda: robotid käsitlevad HTML-lehte aadressil /robots.txt puuduva failina.

Rida „Lubatud” tähendab ainult seda, et robots.txt seda robotit ei peata. See ei tähenda, et robot külastab, ega ütle midagi sinu tulemüüri kohta.

Kuidas robot oma reeglid valib

RFC 9309, robots.txt standard, sätestab kolm reeglit, mis selgitavad peaaegu iga üllatavat tulemust. Robot otsib kõigepealt gruppe, mille User-agent vastab tema tunnusele, tähesuurust arvestamata. Kui ta leiab sellise, järgib ta ainult neid gruppe ja eirab User-agent: * gruppi täielikult. Valitud grupis võidab reegel, mille sobiv tee on pikim, ning kui Allow ja Disallow sobivad sama pikkusega, võidab Allow.

User-agent: *
Disallow: /private/
Allow: /private/press/

User-agent: GPTBot
Disallow: /

Selle failiga on GPTBot blokeeritud kõigilt lehtedelt, sest tal on oma grupp. Kõik teised robotid tohivad laadida /private/press/kit.pdf, sest Allow: /private/press/ on pikem kui Disallow: /private/, ja on blokeeritud teelt /private/notes/. Testi mõlemat teed testijas ja näed, kuidas otsus liigub ühest grupist teise.

Levinud vead koos näidetega

Treening-, otsingu- ja kasutajarobotid: mida igaühe blokeerimine teeb

Treeningroboti blokeerimine on põhimõtteline valik. See hoiab sinu lehed tulevasest mudelite treenimisest eemal ega mõjuta, kas AI-otsing saab sulle täna viidata. Otsinguroboti, näiteks OAI-SearchBot, Claude-SearchBot või PerplexityBot, blokeerimine hoiab sinu lehed selle assistendi vastustest eemal. Googlebot või Bingbot blokeerimine eemaldab sind nendest otsingumootoritest ja nende peale ehitatud AI-funktsioonidest.

User agent'id nagu ChatGPT-User tegutsevad inimese nimel, kes sinu lehte küsis. Mõned teenusepakkujad ütlevad, et need agendid ei pruugi selliste päringute puhul robots.txt-d järgida, nii et nende reegel on palve, mitte garantii. Kui tahad treenimise välja ja AI-otsingu sisse, blokeeri treeningtunnused ja jäta otsingu- ja kasutajatunnused rahule.

Testi enne avaldamist ja siis uuesti

Kleebi oma mustand testijasse, sisesta olulise lehe tee, näiteks toote- või hinnalehe oma, ja loe iga sulle olulise roboti rida. Korda teega, mida tahtsid blokeerida. Kui tulemused vastavad sinu kavatsusele, avalda fail ja käivita testija uuesti avaliku aadressiga, mis tõestab, et server tagastab sinu muudetud faili.

Robotid hoiavad robots.txt-d vahemälus; näiteks Google uuendab oma koopiat tavaliselt 24 tunni jooksul. Muudatuse jõudmine nende käitumisse võib võtta ööpäeva ja Google Search Console'i robots.txt aruanne näitab koopiat, mille Google viimati laadis.

Kui robots.txt lubab robotit, aga see on ikkagi blokeeritud

robots.txt on ainult palve. Tulemüür, robotikaitseteenus või CDN-i reegel võib robotile ikkagi vastata 403 või väljakutselehega, samal ajal kui inimesed saavad lehe kätte. Testija ei näe seda, sest ta loeb ainult üht faili. Täiskontroll laadib sinu lehe iga roboti user agent'iga tavalise brauseri kõrval ja näitab, milline robot saab teistsuguse vastuse, koos HTTP olekukoodi ja tulemüüri tunnusega.

Korduma kippuvad küsimused

Kas see on sama mis Google'i robots.txt Tester?

Ei. Google lõpetas oma eraldiseisva robots.txt Testeri 2023. aastal; Search Console'i robots.txt aruanne näitab nüüd Google'i laaditud faili ja võimalikke parsimisvigu, ainult Google'i robotite kohta. See testija rakendab samu RFC 9309 reegleid korraga 16 AI- ja otsingurobotile.

Kas „Lubatud” tähendab, et robot loeb mu lehte või viitab sellele?

Ei. See tähendab, et robots.txt seda ei keela. Kas robot lehe kätte saab, sõltub sinu serverist ja tulemüürist, ning kas assistent sellele viitab, sõltub sinu sisust ja esitatud küsimusest.

Miks on roboti juures „reegel puudub”?

Sinu failis ei ole tema tunnusele gruppi ega User-agent: * gruppi, seega ei kehti tema kohta miski ja iga tee on lubatud.

Kas saan testida robots.txt-d, mis pole veel avaldatud?

Jah. Kleebi tekst teise välja ja sisesta testitav tee. Sinu saidilt midagi ei laadita ja kleebitud teksti ei salvestata.

Kas testija saadab päringuid GPTBoti või teiste robotitena?

Ei. See loeb ainult sinu robots.txt-d ja rakendab reegleid. Et näha, mida iga robot sinu serverilt tegelikult saab, käivita täiskontroll.

Kui tihti ma saan seda kasutada?

See on tasuta ja ei vaja kontot. Et see püsiks kõigile kättesaadav, saab igast võrgust käivitada tunnis piiratud arvu teste.

Seotud tööriistad ja juhendid