Įveskite puslapio adresą: perskaitysime svetainės robots.txt ir parodysime, ar kiekvienas DI ir paieškos robotas gali atsisiųsti tą puslapį. Arba įklijuokite robots.txt ir patikrinkite jį prieš paskelbdami.
robots.txt yra tik prašymas. Ugniasienė ar apsauga nuo robotų vis tiek gali blokuoti robotą, kurį robots.txt leidžia; pilna patikra tai patikrina. Paleisti pilną patikrą →
Kiekvienas robotas laikosi grupės, kurioje nurodytas jo žymuo (pvz., GPTBot ar PerplexityBot); tik jei tokios nėra, jis laikosi User-agent: *. Grupėje laimi ilgiausia atitinkanti taisyklė, o lygiosiomis laimi Allow. Mokymo robotų, pvz., GPTBot, ClaudeBot ar Google-Extended, blokavimas neleidžia naudoti jūsų turinio modeliams mokyti; paieškos ir naudotojo robotų, pvz., OAI-SearchBot, ChatGPT-User ar PerplexityBot, blokavimas pašalina jūsų puslapius iš DI atsakymų.
Vadovas
Kaip naudotis robots.txt testeriu
Šį tekstą iš anglų kalbos išvertė mašininis vertimas.
Ką tikrina šis robots.txt testeris
Įveskite puslapio adresą. Testeris paima to adreso schemą ir serverį, nuskaito /robots.txt iš to serverio šaknies ir įvertina jo taisykles jūsų puslapio keliui. Jis atsako į vieną klausimą kiekvienam iš 16 robotų: ar šis robotas gali atsisiųsti šį puslapį?
Robotai sugrupuoti pagal tai, ką jie daro. Mokymo robotai renka puslapius DI modeliams: GPTBot, ClaudeBot, CCBot, Bytespider ir Meta-ExternalAgent, taip pat tik robots.txt naudojami žymenys Google-Extended ir Applebot-Extended, kurie patys niekada neapsilanko, bet nurodo Google ir Apple, ar jos gali naudoti jau atsisiųstus puslapius. Paieškos robotai kuria indeksus, kuriuos cituoja DI atsakymai ir paieškos rezultatai: OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot, Bingbot ir Applebot. Naudotojo agentai atsisiunčia puslapį, kai žmogus paprašo asistento jį atidaryti: ChatGPT-User, Claude-User ir Perplexity-User.
Vietoj adreso galite įklijuoti ir robots.txt. Tada niekas neatsisiunčiama: testeris įvertina įklijuotą tekstą, todėl pakeitimą galite išbandyti prieš jį paskelbdami. Įklijuotas tekstas naudojamas tik atsakymui ir neišsaugomas.
Kaip skaityti rezultatus
Lentelėje kiekvienam robotui skirta viena eilutė. Jūsų kelio stulpelyje parašyta Leidžiama arba Užblokuota. Paskutiniame stulpelyje nurodyta, kuri failo dalis nulėmė rezultatą:
Savo grupė: faile yra User-agent eilutė su šio roboto žymeniu, ir jam galioja tik tos grupės taisyklės.
User-agent: *: jokia grupė neįvardija roboto, todėl jis laikosi bendrosios grupės.
Taisyklės nėra: netaikoma jokia grupė, todėl puslapis leidžiamas.
Po lentele matote faile nurodytas Sitemap eilutes ir jo Content-Signal eilutę, jei ji yra. Jei adresas grąžino tinklalapį, o ne tekstinį failą, arba visai jokio failo, testeris tai praneša: robotai HTML puslapį adresu /robots.txt laiko nesančiu failu.
Eilutė su žodžiu Leidžiama reiškia tik tai, kad robots.txt šio roboto nestabdo. Tai nereiškia, kad robotas apsilankys, ir nieko nesako apie jūsų ugniasienę.
Kaip robotas pasirenka savo taisykles
RFC 9309, robots.txt standartas, nustato tris taisykles, kurios paaiškina beveik kiekvieną netikėtą rezultatą. Pirmiausia robotas ieško grupių, kurių User-agent atitinka jo žymenį, nepaisydamas didžiųjų ir mažųjų raidžių. Jei randa, jis laikosi tik tų grupių ir visiškai ignoruoja User-agent: *. Pasirinktoje grupėje laimi taisyklė su ilgiausiu atitinkančiu keliu, o jei Allow ir Disallow atitinka vienodo ilgio keliu, laimi Allow.
Su šiuo failu GPTBot užblokuotas visuose puslapiuose, nes turi savo grupę. Visi kiti robotai gali atsisiųsti /private/press/kit.pdf, nes Allow: /private/press/ ilgesnė už Disallow: /private/, o /private/notes/ jiems užblokuotas. Patikrinkite abu kelius testeryje ir pamatysite, kaip sprendimas pereina iš vienos grupės į kitą.
Dažnos klaidos su pavyzdžiais
Viena po kitos einančios User-agent eilutės sudaro vieną grupę. Failas su User-agent: GPTBot, po to User-agent: OAI-SearchBot, po to Disallow: / blokuoja abu robotus, todėl svetainė, norėjusi sustabdyti tik mokymą, dingsta ir iš ChatGPT paieškos.
Blokuojamas ne tas OpenAI žymuo. GPTBot renka mokymo duomenis; OAI-SearchBot lemia, ar ChatGPT paieška gali jus rodyti ir cituoti. Užblokavę OAI-SearchBot ar ChatGPT-User, kad sustabdytumėte mokymą, vietoj to dingstate iš atsakymų.
Vienas simbolis apverčia taisyklę. Disallow: be nieko po jo leidžia viską; Disallow: / blokuoja viską.
Keliuose skiriamos didžiosios ir mažosios raidės. Disallow: /Blog/ neblokuoja /blog/.
Pakaitos simboliams reikia atidumo. Disallow: /*.pdf blokuoja ir /file.pdf?download=1; Disallow: /*.pdf$ blokuoja tik adresus, kurie baigiasi .pdf.
Failas ne tame serveryje. robots.txt galioja tik tai schemai ir serveriui, iš kurių jis pateikiamas, todėl www.example.com, example.com ir shop.example.com reikia atskirų failų.
Serveris atsako klaida. 4xx atsakymas reiškia, kad robotai gali atsisiųsti viską. 5xx atsakymas ar skirtasis laikas reiškia, kad jie turi laikyti viską uždrausta, kol failą vėl bus galima perskaityti, todėl sugedęs /robots.txt gali sustabdyti visą nuskaitymą.
Taisyklės, kurių robotai nesilaiko. Noindex: ir Crawl-delay: nėra RFC 9309 dalis, ir Google abi ignoruoja.
Tikimasi, kad robots.txt pašalins puslapį iš paieškos. Jis sustabdo nuskaitymą, ne indeksavimą: užblokuotas adresas vis tiek gali būti rodomas be teksto. Kad puslapis nepatektų į indeksą, leiskite jį nuskaityti ir naudokite noindex meta žymą arba antraštę.
Mokymo, paieškos ir naudotojo robotai: ką reiškia kiekvieno blokavimas
Mokymo roboto blokavimas yra politikos pasirinkimas. Jis neleidžia jūsų puslapių naudoti būsimam modelių mokymui ir neturi įtakos tam, ar DI paieška gali jus cituoti šiandien. Užblokavę paieškos robotą, pvz., OAI-SearchBot, Claude-SearchBot ar PerplexityBot, pašalinate savo puslapius iš to asistento atsakymų. Užblokavę Googlebot ar Bingbot, dingstate iš tų paieškos sistemų ir iš jomis paremtų DI funkcijų.
Naudotojo agentai, pvz., ChatGPT-User, veikia žmogaus, paprašiusio jūsų puslapio, vardu. Kai kurie tiekėjai teigia, kad šie agentai tokioms užklausoms gali nesilaikyti robots.txt, todėl taisyklė jiems yra prašymas, o ne garantija. Jei norite išjungti mokymą ir palikti DI paiešką, blokuokite mokymo žymenis, o paieškos ir naudotojo žymenis palikite ramybėje.
Testuokite prieš paskelbdami, tada testuokite dar kartą
Įklijuokite juodraštį į testerį, nurodykite svarbaus puslapio kelią, pvz., produkto ar kainų puslapio, ir perskaitykite kiekvieno jums rūpimo roboto eilutę. Pakartokite su keliu, kurį norėjote užblokuoti. Kai rezultatai atitiks jūsų ketinimą, paskelbkite failą ir dar kartą paleiskite testerį su veikiančiu adresu: tai įrodo, kad serveris grąžina jūsų redaguotą failą.
Robotai saugo robots.txt kopiją; pavyzdžiui, Google paprastai ją atnaujina per 24 valandas. Pakeitimas jų elgsenoje gali pasimatyti tik po paros, o Google Search Console robots.txt ataskaita rodo kopiją, kurią Google atsisiuntė paskutinį kartą.
Kai robots.txt robotą leidžia, bet jis vis tiek užblokuotas
robots.txt yra tik prašymas. Ugniasienė, apsaugos nuo robotų paslauga ar CDN taisyklė vis tiek gali atsakyti robotui 403 arba patikrinimo puslapiu, kol žmonės gauna puslapį. Testeris to nemato, nes skaito tik vieną failą. Pilna patikra atsisiunčia jūsų puslapį su kiekvieno roboto naudotojo agentu kartu su įprasta naršykle ir parodo, kuris robotas gauna kitokį atsakymą, su HTTP būsena ir ugniasienės parašu.
Dažniausiai užduodami klausimai
Ar tai tas pats kaip Google robots.txt testeris?
Ne. Google 2023 m. nutraukė savo atskirą robots.txt testerį; Search Console robots.txt ataskaita dabar rodo failą, kurį atsisiuntė Google, ir nagrinėjimo klaidas, tik Google robotams. Šis testeris tas pačias RFC 9309 taisykles iš karto taiko 16 DI ir paieškos robotų.
Ar Leidžiama reiškia, kad robotas perskaitys ar cituos mano puslapį?
Ne. Tai reiškia, kad robots.txt to nedraudžia. Ar robotas gaus puslapį, priklauso nuo jūsų serverio ir ugniasienės, o ar asistentas jį cituos, priklauso nuo jūsų turinio ir užduoto klausimo.
Kodėl prie roboto rodoma „taisyklės nėra“?
Jūsų faile nėra grupės jo žymeniui ir nėra User-agent: * grupės, todėl jam netaikoma niekas ir leidžiamas kiekvienas kelias.
Ar galiu patikrinti dar nepaskelbtą robots.txt?
Taip. Įklijuokite tekstą į antrą lauką ir įveskite tikrinamą kelią. Iš jūsų svetainės niekas neatsisiunčiama, o įklijuotas tekstas neišsaugomas.
Ar testeris siunčia užklausas kaip GPTBot ar kiti robotai?
Ne. Jis tik perskaito jūsų robots.txt ir pritaiko taisykles. Kad pamatytumėte, ką kiekvienas robotas iš tikrųjų gauna iš jūsų serverio, paleiskite pilną patikrą.
Kaip dažnai galiu juo naudotis?
Jis nemokamas ir nereikalauja paskyros. Kad liktų prieinamas visiems, iš kiekvieno tinklo per valandą galima atlikti ribotą testų skaičių.