Pasirinkite, kurie DI robotai gali skaityti jūsų svetainę, ir nukopijuokite sugeneruotą robots.txt. Dažnas pasirinkimas: blokuoti DI mokymo robotus, pvz., GPTBot ir ClaudeBot, bet leisti DI paieškos robotus, pvz., OAI-SearchBot ir PerplexityBot, kad jūsų puslapiai ir toliau galėtų pasirodyti ir būti cituojami DI atsakymuose.
Naudotojo užklausų robotų blokavimas turi ribotą poveikį: kai kurie tiekėjai teigia, kad šie agentai gali nesilaikyti robots.txt, nes puslapio paprašė žmogus. Prieš skelbdami rezultatą patikrinkite jį robots.txt tikrinimo įrankiu. robots.txt testeris ir tikrinimas DI robotams →
Kaip naudoti
Įkelkite failą į savo domeno šaknį (https://example.com/robots.txt). Jei jau turite taisyklių kitiems robotams, palikite jas ir pridėkite tik DI grupes. Pakeitimai įsigalioja, kai kiekvienas robotas kitą kartą perskaito failą, paprastai per dieną.
Šį tekstą iš anglų kalbos išvertė mašininis vertimas.
Ką parašo generatorius
Pažymėkite robotus, kurie gali skaityti jūsų svetainę, ir atžymėkite tuos, kuriuos norite užblokuoti. Generatorius parašo robots.txt su viena grupe kiekvienam užblokuotam robotui, User-agent: <token> ir po jos Disallow: /, o pabaigoje User-agent: * grupę, kuri leidžia visa kita. Pridėkite sitemap adresą, ir jis pridės Sitemap eilutę. Pažymėkite Content-Signal parinktis, ir jis pridės Content-Signal eilutę, nurodančią, kaip galima naudoti jūsų turinį.
Niekas nepalieka jūsų naršyklės: failas kuriamas puslapyje jums spustelint, o jūs nukopijuojate jį iš išvesties lauko.
Nuo kurio šablono pradėti
Leisti visus: kiekvienas robotas gali skaityti kiekvieną puslapį. Tinka daugumai svetainių, kurios nori būti randamos ir cituojamos.
Blokuoti mokymą, leisti DI paiešką: mokymo robotai, pvz., GPTBot, ClaudeBot, CCBot ir Google-Extended, užblokuoti; paieškos ir naudotojo robotai, pvz., OAI-SearchBot, Claude-SearchBot, PerplexityBot ir ChatGPT-User, lieka leidžiami. Jūsų puslapiai vis tiek gali pasirodyti ir būti cituojami DI atsakymuose.
Blokuoti visus DI robotus: užblokuotas kiekvienas sąraše esantis DI robotas. Tie robotai nesisiųs jūsų puslapių DI atsakymams, o tai paprastai reiškia mažiau citavimų ir mažiau srauto iš asistentų.
Pavyzdys: blokuoti mokymą, leisti DI paiešką
Kiekvienas užblokuotas robotas turi savo grupę, todėl jo Disallow: / galioja tik jam. Visi kiti robotai, įskaitant OAI-SearchBot ir Googlebot, patenka į User-agent: * ir gali skaityti viską. Content-Signal eilutė pakartoja tą patį ketinimą robotams, kurie ją skaito: paieška ir atsakymai realiuoju laiku – taip, mokymas – ne.
Sujunkite, nepakeiskite. Jei dabartiniame robots.txt yra taisyklių administravimo sritims, krepšeliams ar paieškos puslapiams, nukopijuokite jas į naujo failo User-agent: * grupę, kitaip tas sritis atversite visiems robotams.
Dėkite failą kiekvieno serverio šaknyje: https://example.com/robots.txt. Subdomenui reikia atskiro failo.
Pateikite jį kaip paprastą tekstą su būsena 200. HTML puslapis ar klaida tuo adresu neveikia kaip robots.txt.
Įklijuokite rezultatą į robots.txt testerį ir patikrinkite kelis tikrus kelius jums rūpimiems robotams.
Atminkite, kad robots.txt yra prašymas. Jei ugniasienė blokuoja robotą, kurį leidžiate, failas to nepataisys; pilna patikra tai parodo.
Dažnos klaidos
OAI-SearchBot ar PerplexityBot blokavimas, norint sustabdyti mokymą. Tai paieškos robotai; juos užblokavę dingstate iš atsakymų.
Kelios User-agent eilutės virš vieno Disallow: /, kai norėjote užblokuoti tik vieną iš jų: viena po kitos einančios eilutės sudaro vieną grupę.
Tikimasi, kad naudotojo užklausas vykdantys agentai, pvz., ChatGPT-User, paklus blokavimui. Kai kurie tiekėjai teigia, kad šie agentai gali nesilaikyti robots.txt, kai puslapio paprašė žmogus.
Crawl-delay ar Noindex eilučių pridėjimas. Jos nėra RFC 9309 dalis, ir Google abi ignoruoja.
Dažniausiai užduodami klausimai
Ar užblokavus GPTBot mano svetainė dings iš ChatGPT?
Ne. GPTBot renka mokymo duomenis. ChatGPT paieška naudoja OAI-SearchBot, o ChatGPT-User atidaro puslapius, kurių paprašo žmonės. Palikite juos leidžiamus, jei norite būti cituojami.
Kas yra Content-Signal?
robots.txt eilutė, nurodanti, kaip galima naudoti jūsų turinį: search, ai-input (atsakymai realiuoju laiku) ir ai-train (mokymas), kiekvienas taip arba ne. Palaikymas skiriasi pagal tiekėją; robotai ir toliau laikosi konkrečiam robotui skirtų grupių.
Ar Google-Extended turi įtakos Google paieškai?
Ne. Tai tik robots.txt naudojamas žymuo, kuris nustato, ar Google gali naudoti jūsų puslapius savo DI modeliams; jis nekeičia nuskaitymo ar reitingavimo Google paieškoje.
Ar mano pasirinkimas kur nors siunčiamas?
Ne. Generatorius veikia jūsų naršyklėje, ir niekas nesiunčiama į mūsų serverį, kol nenuspręsite failo patikrinti.