Vali, millised AI-robotid tohivad sinu saiti lugeda, ja kopeeri loodud robots.txt. Levinud valik on blokeerida AI treeningrobotid, nagu GPTBot ja ClaudeBot, kuid lubada AI-otsingurobotid, nagu OAI-SearchBot ja PerplexityBot, et sinu lehed saaksid AI-vastustes endiselt ilmuda ja viidatud olla.
Kasutaja algatatud päringute blokeerimisel on piiratud mõju: mõned teenusepakkujad ütlevad, et need agendid ei pruugi robots.txt-d järgida, sest lehte küsis inimene. Testi tulemust enne avaldamist robots.txt kontrollijaga. robots.txt testija ja kontrollija AI-robotitele →
Kuidas seda kasutada
Pane fail oma domeeni juurkausta (https://example.com/robots.txt). Kui sul on juba reeglid teistele robotitele, jäta need alles ja lisa ainult AI-grupid. Muudatused jõustuvad, kui iga robot faili järgmine kord loeb, tavaliselt päeva jooksul.
Märgi robotid, kes tohivad sinu saiti lugeda, ja eemalda märge nendelt, keda tahad blokeerida. Generaator kirjutab robots.txt, kus on iga blokeeritud roboti jaoks üks grupp, User-agent: <token> ja selle järel Disallow: /, ning lõpus User-agent: * grupp, mis lubab kõike muud. Lisa saidikaardi aadress ja see lisab Sitemap rea. Märgi Content-Signal valikud ja see lisab Content-Signal rea, mis ütleb, kuidas sinu sisu tohib kasutada.
Midagi ei lahku sinu brauserist: fail koostatakse lehel jooksvalt klõpsamise ajal ja sa kopeerid selle väljundkastist.
Millisest eelseadistusest alustada
Luba kõik: iga robot tohib lugeda iga lehte. Sobib enamikule saitidele, mis tahavad olla leitud ja tsiteeritud.
Blokeeri treenimine, luba AI-otsing: treeningrobotid nagu GPTBot, ClaudeBot, CCBot ja Google-Extended on blokeeritud; otsingu- ja kasutajarobotid nagu OAI-SearchBot, Claude-SearchBot, PerplexityBot ja ChatGPT-User jäävad lubatuks. Sinu lehed saavad endiselt AI-vastustes ilmuda ja neile saab viidata.
Blokeeri kõik AI-robotid: iga loendis olev AI-robot on blokeeritud. Need robotid ei laadi sinu lehti AI-vastuste jaoks, mis tähendab tavaliselt vähem viiteid ja vähem liiklust assistentidest.
Näide: blokeeri treenimine, luba AI-otsing
Igal blokeeritud robotil on oma grupp, nii et tema Disallow: / kehtib ainult tema kohta. Kõik teised robotid, sealhulgas OAI-SearchBot ja Googlebot, langevad gruppi User-agent: * ja tohivad kõike lugeda. Content-Signal rida kordab sama kavatsust robotitele, kes seda loevad: otsing ja reaalajas vastused jah, treenimine ei.
Ühenda, ära asenda. Kui sinu praeguses robots.txt-s on reegleid halduspiirkondade, ostukorvide või otsingulehtede jaoks, kopeeri need uue faili User-agent: * gruppi, muidu avad need alad kõigile robotitele.
Pane fail iga hosti juurde: https://example.com/robots.txt. Alamdomeen vajab oma faili.
Serveeri see lihttekstina olekuga 200. HTML-leht või viga sellel aadressil ei tööta robots.txt-na.
Kleebi tulemus robots.txt testijasse ja kontrolli mõnda päris teed sulle oluliste robotite jaoks.
Pea meeles, et robots.txt on palve. Kui tulemüür blokeerib roboti, mida lubad, ei saa fail seda parandada; täiskontroll näitab seda.
Levinud vead
OAI-SearchBot või PerplexityBot blokeerimine treenimise peatamiseks. Need on otsingurobotid; nende blokeerimine eemaldab sind vastustest.
Mitme User-agent rea kirjutamine ühe Disallow: / kohale, kui tahtsid blokeerida ainult ühte neist: järjestikused read moodustavad ühe grupi.
Ootus, et kasutaja palvel laadivad agendid nagu ChatGPT-User järgivad blokeeringut. Mõned teenusepakkujad ütlevad, et need agendid ei pruugi robots.txt-d järgida, kui inimene lehte küsis.
Crawl-delay või Noindex ridade lisamine. Need ei ole RFC 9309 osa ja Google eirab mõlemat.
Korduma kippuvad küsimused
Kas GPTBoti blokeerimine eemaldab mu saidi ChatGPT-st?
Ei. GPTBot kogub treeningandmeid. ChatGPT otsing kasutab robotit OAI-SearchBot ja ChatGPT-User avab lehti, mida inimesed küsivad. Jäta need lubatuks, kui tahad, et sulle viidataks.
Mis on Content-Signal?
Rida robots.txt-s, mis ütleb, kuidas sinu sisu tohib kasutada: search, ai-input (reaalajas vastused) ja ai-train (treenimine), igaüks jah või ei. Tugi erineb teenusepakkujati; robotipõhised grupid jäävad reegliks, mida robotid järgivad.
Kas Google-Extended mõjutab Google'i otsingut?
Ei. See on ainult robots.txt-s kasutatav tunnus, mis määrab, kas Google tohib sinu lehti oma AI-mudelite jaoks kasutada; see ei muuda roomamist ega järjestust Google'i otsingus.
Kas minu valik saadetakse kuhugi?
Ei. Generaator töötab sinu brauseris ja meie serverisse ei saadeta midagi enne, kui otsustad faili testida.