Izvēlieties, kuras MI rāpuļprogrammas drīkst lasīt jūsu vietni, un nokopējiet ģenerēto robots.txt. Bieža izvēle ir bloķēt MI apmācības rāpuļprogrammas, piemēram, GPTBot un ClaudeBot, bet atļaut MI meklēšanas rāpuļprogrammas, piemēram, OAI-SearchBot un PerplexityBot, lai jūsu lapas joprojām varētu parādīties un tikt citētas MI atbildēs.
Lietotāja pieprasīto ielādētāju bloķēšanai ir ierobežota ietekme: daži piegādātāji norāda, ka šie aģenti var neievērot robots.txt, jo lapu pieprasīja cilvēks. Pirms publicēšanas pārbaudiet rezultātu ar robots.txt pārbaudes rīku. robots.txt testeris un pārbaude MI rāpuļprogrammām →
Kā to lietot
Novietojiet failu domēna saknē (https://example.com/robots.txt). Ja jums jau ir kārtulas citām rāpuļprogrammām, saglabājiet tās un pievienojiet tikai MI grupas. Izmaiņas stājas spēkā, kad katra rāpuļprogramma nākamreiz nolasa failu, parasti dienas laikā.
Atzīmējiet rāpuļprogrammas, kas drīkst lasīt jūsu vietni, un noņemiet atzīmi tām, kuras vēlaties bloķēt. Ģenerators uzraksta robots.txt ar vienu grupu katrai bloķētajai rāpuļprogrammai, User-agent: <token> un pēc tam Disallow: /, un beigās User-agent: * grupu, kas atļauj visu pārējo. Pievienojiet sitemap adresi, un tas pievienos Sitemap rindu. Atzīmējiet Content-Signal opcijas, un tas pievienos Content-Signal rindu, kas norāda, kā drīkst izmantot jūsu saturu.
Nekas neatstāj jūsu pārlūku: fails tiek veidots lapā, kamēr jūs klikšķināt, un jūs to nokopējat no izvades lauka.
No kuras sagataves sākt
Atļaut visas: katra rāpuļprogramma drīkst lasīt katru lapu. Piemērots lielākajai daļai vietņu, kas vēlas tikt atrastas un citētas.
Bloķēt apmācību, atļaut MI meklēšanu: apmācības rāpuļprogrammas, piemēram, GPTBot, ClaudeBot, CCBot un Google-Extended, ir bloķētas; meklēšanas un lietotāja rāpuļprogrammas, piemēram, OAI-SearchBot, Claude-SearchBot, PerplexityBot un ChatGPT-User, paliek atļautas. Jūsu lapas joprojām var parādīties un tikt citētas MI atbildēs.
Bloķēt visas MI rāpuļprogrammas: katra sarakstā esošā MI rāpuļprogramma ir bloķēta. Šīs rāpuļprogrammas neielādēs jūsu lapas MI atbildēm, kas parasti nozīmē mazāk citātu un mazāk trafika no asistentiem.
Piemērs: bloķēt apmācību, atļaut MI meklēšanu
Katrai bloķētajai rāpuļprogrammai ir sava grupa, tāpēc tās Disallow: / attiecas tikai uz to. Visas pārējās rāpuļprogrammas, ieskaitot OAI-SearchBot un Googlebot, nonāk līdz User-agent: * un drīkst lasīt visu. Content-Signal rinda atkārto to pašu nodomu rāpuļprogrammām, kas to lasa: meklēšana un reāllaika atbildes – jā, apmācība – nē.
Apvienojiet, neaizstājiet. Ja jūsu pašreizējā robots.txt ir kārtulas administrēšanas sadaļām, iepirkumu groziem vai meklēšanas lapām, nokopējiet tās jaunā faila User-agent: * grupā, citādi atvērsiet šīs sadaļas visām rāpuļprogrammām.
Novietojiet failu katra resursdatora saknē: https://example.com/robots.txt. Apakšdomēnam vajag savu failu.
Pasniedziet to kā vienkāršu tekstu ar statusu 200. HTML lapa vai kļūda šajā adresē nedarbojas kā robots.txt.
Ielīmējiet rezultātu robots.txt testerī un pārbaudiet dažus reālus ceļus jums svarīgajām rāpuļprogrammām.
Atcerieties, ka robots.txt ir lūgums. Ja ugunsmūris bloķē rāpuļprogrammu, ko jūs atļaujat, fails to nevar labot; pilnā pārbaude to parāda.
Biežākās kļūdas
OAI-SearchBot vai PerplexityBot bloķēšana, lai apturētu apmācību. Tās ir meklēšanas rāpuļprogrammas; to bloķēšana izņem jūs no atbildēm.
Vairākas User-agent rindas virs viena Disallow: /, kad gribējāt bloķēt tikai vienu no tām: secīgas rindas veido vienu grupu.
Gaidīt, ka lietotāja pieprasītie ielādētāji, piemēram, ChatGPT-User, pakļausies bloķēšanai. Daži piegādātāji norāda, ka šie aģenti var neievērot robots.txt, kad lapu lūdzis cilvēks.
Crawl-delay vai Noindex rindu pievienošana. Tās nav RFC 9309 daļa, un Google ignorē abas.
Biežāk uzdotie jautājumi
Vai GPTBot bloķēšana izņems manu vietni no ChatGPT?
Nē. GPTBot vāc apmācības datus. ChatGPT meklēšana izmanto OAI-SearchBot, un ChatGPT-User atver lapas, ko lūdz cilvēki. Atstājiet tās atļautas, ja vēlaties tikt citēti.
Kas ir Content-Signal?
Rinda robots.txt, kas norāda, kā drīkst izmantot jūsu saturu: search, ai-input (atbildes reāllaikā) un ai-train (apmācība), katrs jā vai nē. Atbalsts atšķiras pēc piegādātāja; rāpuļprogrammas joprojām ievēro konkrētajām rāpuļprogrammām paredzētās grupas.
Vai Google-Extended ietekmē Google meklēšanu?
Nē. Tas ir tikai robots.txt marķieris, kas nosaka, vai Google drīkst izmantot jūsu lapas saviem MI modeļiem; tas nemaina rāpošanu vai ranžēšanu Google meklēšanā.
Vai mana izvēle kaut kur tiek nosūtīta?
Nē. Ģenerators darbojas jūsu pārlūkā, un nekas netiek nosūtīts uz mūsu serveri, kamēr neizvēlaties failu pārbaudīt.