robots.txt testeris ir tikrinimas DI robotams

Įveskite puslapio adresą: perskaitysime svetainės robots.txt ir parodysime, ar kiekvienas DI ir paieškos robotas gali atsisiųsti tą puslapį. Arba įklijuokite robots.txt ir patikrinkite jį prieš paskelbdami.

robots.txt yra tik prašymas. Ugniasienė ar apsauga nuo robotų vis tiek gali blokuoti robotą, kurį robots.txt leidžia; pilna patikra tai patikrina. Paleisti pilną patikrą →

Tas pats patikrinimas atidarytam puslapiui vienu spustelėjimu: DI robotų tikrinimas ↗

Kaip DI robotai skaito robots.txt

Kiekvienas robotas laikosi grupės, kurioje nurodytas jo žymuo (pvz., GPTBot ar PerplexityBot); tik jei tokios nėra, jis laikosi User-agent: *. Grupėje laimi ilgiausia atitinkanti taisyklė, o lygiosiomis laimi Allow. Mokymo robotų, pvz., GPTBot, ClaudeBot ar Google-Extended, blokavimas neleidžia naudoti jūsų turinio modeliams mokyti; paieškos ir naudotojo robotų, pvz., OAI-SearchBot, ChatGPT-User ar PerplexityBot, blokavimas pašalina jūsų puslapius iš DI atsakymų.

Vadovas

Kaip naudotis robots.txt testeriu

Šį tekstą iš anglų kalbos išvertė mašininis vertimas.

Ką tikrina šis robots.txt testeris

Įveskite puslapio adresą. Testeris paima to adreso schemą ir serverį, nuskaito /robots.txt iš to serverio šaknies ir įvertina jo taisykles jūsų puslapio keliui. Jis atsako į vieną klausimą kiekvienam iš 16 robotų: ar šis robotas gali atsisiųsti šį puslapį?

Robotai sugrupuoti pagal tai, ką jie daro. Mokymo robotai renka puslapius DI modeliams: GPTBot, ClaudeBot, CCBot, Bytespider ir Meta-ExternalAgent, taip pat tik robots.txt naudojami žymenys Google-Extended ir Applebot-Extended, kurie patys niekada neapsilanko, bet nurodo Google ir Apple, ar jos gali naudoti jau atsisiųstus puslapius. Paieškos robotai kuria indeksus, kuriuos cituoja DI atsakymai ir paieškos rezultatai: OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot, Bingbot ir Applebot. Naudotojo agentai atsisiunčia puslapį, kai žmogus paprašo asistento jį atidaryti: ChatGPT-User, Claude-User ir Perplexity-User.

Vietoj adreso galite įklijuoti ir robots.txt. Tada niekas neatsisiunčiama: testeris įvertina įklijuotą tekstą, todėl pakeitimą galite išbandyti prieš jį paskelbdami. Įklijuotas tekstas naudojamas tik atsakymui ir neišsaugomas.

Kaip skaityti rezultatus

Lentelėje kiekvienam robotui skirta viena eilutė. Jūsų kelio stulpelyje parašyta Leidžiama arba Užblokuota. Paskutiniame stulpelyje nurodyta, kuri failo dalis nulėmė rezultatą:

Po lentele matote faile nurodytas Sitemap eilutes ir jo Content-Signal eilutę, jei ji yra. Jei adresas grąžino tinklalapį, o ne tekstinį failą, arba visai jokio failo, testeris tai praneša: robotai HTML puslapį adresu /robots.txt laiko nesančiu failu.

Eilutė su žodžiu Leidžiama reiškia tik tai, kad robots.txt šio roboto nestabdo. Tai nereiškia, kad robotas apsilankys, ir nieko nesako apie jūsų ugniasienę.

Kaip robotas pasirenka savo taisykles

RFC 9309, robots.txt standartas, nustato tris taisykles, kurios paaiškina beveik kiekvieną netikėtą rezultatą. Pirmiausia robotas ieško grupių, kurių User-agent atitinka jo žymenį, nepaisydamas didžiųjų ir mažųjų raidžių. Jei randa, jis laikosi tik tų grupių ir visiškai ignoruoja User-agent: *. Pasirinktoje grupėje laimi taisyklė su ilgiausiu atitinkančiu keliu, o jei Allow ir Disallow atitinka vienodo ilgio keliu, laimi Allow.

User-agent: *
Disallow: /private/
Allow: /private/press/

User-agent: GPTBot
Disallow: /

Su šiuo failu GPTBot užblokuotas visuose puslapiuose, nes turi savo grupę. Visi kiti robotai gali atsisiųsti /private/press/kit.pdf, nes Allow: /private/press/ ilgesnė už Disallow: /private/, o /private/notes/ jiems užblokuotas. Patikrinkite abu kelius testeryje ir pamatysite, kaip sprendimas pereina iš vienos grupės į kitą.

Dažnos klaidos su pavyzdžiais

Mokymo, paieškos ir naudotojo robotai: ką reiškia kiekvieno blokavimas

Mokymo roboto blokavimas yra politikos pasirinkimas. Jis neleidžia jūsų puslapių naudoti būsimam modelių mokymui ir neturi įtakos tam, ar DI paieška gali jus cituoti šiandien. Užblokavę paieškos robotą, pvz., OAI-SearchBot, Claude-SearchBot ar PerplexityBot, pašalinate savo puslapius iš to asistento atsakymų. Užblokavę Googlebot ar Bingbot, dingstate iš tų paieškos sistemų ir iš jomis paremtų DI funkcijų.

Naudotojo agentai, pvz., ChatGPT-User, veikia žmogaus, paprašiusio jūsų puslapio, vardu. Kai kurie tiekėjai teigia, kad šie agentai tokioms užklausoms gali nesilaikyti robots.txt, todėl taisyklė jiems yra prašymas, o ne garantija. Jei norite išjungti mokymą ir palikti DI paiešką, blokuokite mokymo žymenis, o paieškos ir naudotojo žymenis palikite ramybėje.

Testuokite prieš paskelbdami, tada testuokite dar kartą

Įklijuokite juodraštį į testerį, nurodykite svarbaus puslapio kelią, pvz., produkto ar kainų puslapio, ir perskaitykite kiekvieno jums rūpimo roboto eilutę. Pakartokite su keliu, kurį norėjote užblokuoti. Kai rezultatai atitiks jūsų ketinimą, paskelbkite failą ir dar kartą paleiskite testerį su veikiančiu adresu: tai įrodo, kad serveris grąžina jūsų redaguotą failą.

Robotai saugo robots.txt kopiją; pavyzdžiui, Google paprastai ją atnaujina per 24 valandas. Pakeitimas jų elgsenoje gali pasimatyti tik po paros, o Google Search Console robots.txt ataskaita rodo kopiją, kurią Google atsisiuntė paskutinį kartą.

Kai robots.txt robotą leidžia, bet jis vis tiek užblokuotas

robots.txt yra tik prašymas. Ugniasienė, apsaugos nuo robotų paslauga ar CDN taisyklė vis tiek gali atsakyti robotui 403 arba patikrinimo puslapiu, kol žmonės gauna puslapį. Testeris to nemato, nes skaito tik vieną failą. Pilna patikra atsisiunčia jūsų puslapį su kiekvieno roboto naudotojo agentu kartu su įprasta naršykle ir parodo, kuris robotas gauna kitokį atsakymą, su HTTP būsena ir ugniasienės parašu.

Dažniausiai užduodami klausimai

Ar tai tas pats kaip Google robots.txt testeris?

Ne. Google 2023 m. nutraukė savo atskirą robots.txt testerį; Search Console robots.txt ataskaita dabar rodo failą, kurį atsisiuntė Google, ir nagrinėjimo klaidas, tik Google robotams. Šis testeris tas pačias RFC 9309 taisykles iš karto taiko 16 DI ir paieškos robotų.

Ar Leidžiama reiškia, kad robotas perskaitys ar cituos mano puslapį?

Ne. Tai reiškia, kad robots.txt to nedraudžia. Ar robotas gaus puslapį, priklauso nuo jūsų serverio ir ugniasienės, o ar asistentas jį cituos, priklauso nuo jūsų turinio ir užduoto klausimo.

Kodėl prie roboto rodoma „taisyklės nėra“?

Jūsų faile nėra grupės jo žymeniui ir nėra User-agent: * grupės, todėl jam netaikoma niekas ir leidžiamas kiekvienas kelias.

Ar galiu patikrinti dar nepaskelbtą robots.txt?

Taip. Įklijuokite tekstą į antrą lauką ir įveskite tikrinamą kelią. Iš jūsų svetainės niekas neatsisiunčiama, o įklijuotas tekstas neišsaugomas.

Ar testeris siunčia užklausas kaip GPTBot ar kiti robotai?

Ne. Jis tik perskaito jūsų robots.txt ir pritaiko taisykles. Kad pamatytumėte, ką kiekvienas robotas iš tikrųjų gauna iš jūsų serverio, paleiskite pilną patikrą.

Kaip dažnai galiu juo naudotis?

Jis nemokamas ir nereikalauja paskyros. Kad liktų prieinamas visiems, iš kiekvieno tinklo per valandą galima atlikti ribotą testų skaičių.

Susiję įrankiai ir vadovai