robots.txt generaator AI-robotitele

Vali, millised AI-robotid tohivad sinu saiti lugeda, ja kopeeri loodud robots.txt. Levinud valik on blokeerida AI treeningrobotid, nagu GPTBot ja ClaudeBot, kuid lubada AI-otsingurobotid, nagu OAI-SearchBot ja PerplexityBot, et sinu lehed saaksid AI-vastustes endiselt ilmuda ja viidatud olla.

Alusta valikust
AI treenimine
AI-otsing
Kasutaja algatatud päring
Content-Signal (valikuline): märgi, mida lubad

Kasutaja algatatud päringute blokeerimisel on piiratud mõju: mõned teenusepakkujad ütlevad, et need agendid ei pruugi robots.txt-d järgida, sest lehte küsis inimene. Testi tulemust enne avaldamist robots.txt kontrollijaga. robots.txt testija ja kontrollija AI-robotitele →

Kuidas seda kasutada

Pane fail oma domeeni juurkausta (https://example.com/robots.txt). Kui sul on juba reeglid teistele robotitele, jäta need alles ja lisa ainult AI-grupid. Muudatused jõustuvad, kui iga robot faili järgmine kord loeb, tavaliselt päeva jooksul.

Käivita täiskontroll →

Juhend

Kuidas kasutada robots.txt generaatorit

See tekst on inglise keelest masintõlgitud.

Mida generaator kirjutab

Märgi robotid, kes tohivad sinu saiti lugeda, ja eemalda märge nendelt, keda tahad blokeerida. Generaator kirjutab robots.txt, kus on iga blokeeritud roboti jaoks üks grupp, User-agent: <token> ja selle järel Disallow: /, ning lõpus User-agent: * grupp, mis lubab kõike muud. Lisa saidikaardi aadress ja see lisab Sitemap rea. Märgi Content-Signal valikud ja see lisab Content-Signal rea, mis ütleb, kuidas sinu sisu tohib kasutada.

Midagi ei lahku sinu brauserist: fail koostatakse lehel jooksvalt klõpsamise ajal ja sa kopeerid selle väljundkastist.

Millisest eelseadistusest alustada

Näide: blokeeri treenimine, luba AI-otsing

Igal blokeeritud robotil on oma grupp, nii et tema Disallow: / kehtib ainult tema kohta. Kõik teised robotid, sealhulgas OAI-SearchBot ja Googlebot, langevad gruppi User-agent: * ja tohivad kõike lugeda. Content-Signal rida kordab sama kavatsust robotitele, kes seda loevad: otsing ja reaalajas vastused jah, treenimine ei.

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /

Sitemap: https://example.com/sitemap.xml

Enne avaldamist

Levinud vead

Korduma kippuvad küsimused

Kas GPTBoti blokeerimine eemaldab mu saidi ChatGPT-st?

Ei. GPTBot kogub treeningandmeid. ChatGPT otsing kasutab robotit OAI-SearchBot ja ChatGPT-User avab lehti, mida inimesed küsivad. Jäta need lubatuks, kui tahad, et sulle viidataks.

Mis on Content-Signal?

Rida robots.txt-s, mis ütleb, kuidas sinu sisu tohib kasutada: search, ai-input (reaalajas vastused) ja ai-train (treenimine), igaüks jah või ei. Tugi erineb teenusepakkujati; robotipõhised grupid jäävad reegliks, mida robotid järgivad.

Kas Google-Extended mõjutab Google'i otsingut?

Ei. See on ainult robots.txt-s kasutatav tunnus, mis määrab, kas Google tohib sinu lehti oma AI-mudelite jaoks kasutada; see ei muuda roomamist ega järjestust Google'i otsingus.

Kas minu valik saadetakse kuhugi?

Ei. Generaator töötab sinu brauseris ja meie serverisse ei saadeta midagi enne, kui otsustad faili testida.

Seotud tööriistad ja juhendid