robots.txt generatorius DI robotams

Pasirinkite, kurie DI robotai gali skaityti jūsų svetainę, ir nukopijuokite sugeneruotą robots.txt. Dažnas pasirinkimas: blokuoti DI mokymo robotus, pvz., GPTBot ir ClaudeBot, bet leisti DI paieškos robotus, pvz., OAI-SearchBot ir PerplexityBot, kad jūsų puslapiai ir toliau galėtų pasirodyti ir būti cituojami DI atsakymuose.

Pradėti nuo
DI mokymas
DI paieška
Naudotojo užklausa
Content-Signal (neprivaloma): pažymėkite, ką leidžiate

Naudotojo užklausų robotų blokavimas turi ribotą poveikį: kai kurie tiekėjai teigia, kad šie agentai gali nesilaikyti robots.txt, nes puslapio paprašė žmogus. Prieš skelbdami rezultatą patikrinkite jį robots.txt tikrinimo įrankiu. robots.txt testeris ir tikrinimas DI robotams →

Kaip naudoti

Įkelkite failą į savo domeno šaknį (https://example.com/robots.txt). Jei jau turite taisyklių kitiems robotams, palikite jas ir pridėkite tik DI grupes. Pakeitimai įsigalioja, kai kiekvienas robotas kitą kartą perskaito failą, paprastai per dieną.

Paleisti pilną patikrą →

Vadovas

Kaip naudotis robots.txt generatoriumi

Šį tekstą iš anglų kalbos išvertė mašininis vertimas.

Ką parašo generatorius

Pažymėkite robotus, kurie gali skaityti jūsų svetainę, ir atžymėkite tuos, kuriuos norite užblokuoti. Generatorius parašo robots.txt su viena grupe kiekvienam užblokuotam robotui, User-agent: <token> ir po jos Disallow: /, o pabaigoje User-agent: * grupę, kuri leidžia visa kita. Pridėkite sitemap adresą, ir jis pridės Sitemap eilutę. Pažymėkite Content-Signal parinktis, ir jis pridės Content-Signal eilutę, nurodančią, kaip galima naudoti jūsų turinį.

Niekas nepalieka jūsų naršyklės: failas kuriamas puslapyje jums spustelint, o jūs nukopijuojate jį iš išvesties lauko.

Nuo kurio šablono pradėti

Pavyzdys: blokuoti mokymą, leisti DI paiešką

Kiekvienas užblokuotas robotas turi savo grupę, todėl jo Disallow: / galioja tik jam. Visi kiti robotai, įskaitant OAI-SearchBot ir Googlebot, patenka į User-agent: * ir gali skaityti viską. Content-Signal eilutė pakartoja tą patį ketinimą robotams, kurie ją skaito: paieška ir atsakymai realiuoju laiku – taip, mokymas – ne.

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /

Sitemap: https://example.com/sitemap.xml

Prieš paskelbdami

Dažnos klaidos

Dažniausiai užduodami klausimai

Ar užblokavus GPTBot mano svetainė dings iš ChatGPT?

Ne. GPTBot renka mokymo duomenis. ChatGPT paieška naudoja OAI-SearchBot, o ChatGPT-User atidaro puslapius, kurių paprašo žmonės. Palikite juos leidžiamus, jei norite būti cituojami.

Kas yra Content-Signal?

robots.txt eilutė, nurodanti, kaip galima naudoti jūsų turinį: search, ai-input (atsakymai realiuoju laiku) ir ai-train (mokymas), kiekvienas taip arba ne. Palaikymas skiriasi pagal tiekėją; robotai ir toliau laikosi konkrečiam robotui skirtų grupių.

Ar Google-Extended turi įtakos Google paieškai?

Ne. Tai tik robots.txt naudojamas žymuo, kuris nustato, ar Google gali naudoti jūsų puslapius savo DI modeliams; jis nekeičia nuskaitymo ar reitingavimo Google paieškoje.

Ar mano pasirinkimas kur nors siunčiamas?

Ne. Generatorius veikia jūsų naršyklėje, ir niekas nesiunčiama į mūsų serverį, kol nenuspręsite failo patikrinti.

Susiję įrankiai ir vadovai