robots.txt ģenerators MI rāpuļprogrammām

Izvēlieties, kuras MI rāpuļprogrammas drīkst lasīt jūsu vietni, un nokopējiet ģenerēto robots.txt. Bieža izvēle ir bloķēt MI apmācības rāpuļprogrammas, piemēram, GPTBot un ClaudeBot, bet atļaut MI meklēšanas rāpuļprogrammas, piemēram, OAI-SearchBot un PerplexityBot, lai jūsu lapas joprojām varētu parādīties un tikt citētas MI atbildēs.

Sākt no
MI apmācība
MI meklēšana
Lietotāja pieprasīta ielāde
Content-Signal (nav obligāts): atzīmējiet, ko atļaujat

Lietotāja pieprasīto ielādētāju bloķēšanai ir ierobežota ietekme: daži piegādātāji norāda, ka šie aģenti var neievērot robots.txt, jo lapu pieprasīja cilvēks. Pirms publicēšanas pārbaudiet rezultātu ar robots.txt pārbaudes rīku. robots.txt testeris un pārbaude MI rāpuļprogrammām →

Kā to lietot

Novietojiet failu domēna saknē (https://example.com/robots.txt). Ja jums jau ir kārtulas citām rāpuļprogrammām, saglabājiet tās un pievienojiet tikai MI grupas. Izmaiņas stājas spēkā, kad katra rāpuļprogramma nākamreiz nolasa failu, parasti dienas laikā.

Palaist pilno pārbaudi →

Ceļvedis

Kā lietot robots.txt ģeneratoru

Šo tekstu no angļu valodas ir tulkojusi mašīna.

Ko uzraksta ģenerators

Atzīmējiet rāpuļprogrammas, kas drīkst lasīt jūsu vietni, un noņemiet atzīmi tām, kuras vēlaties bloķēt. Ģenerators uzraksta robots.txt ar vienu grupu katrai bloķētajai rāpuļprogrammai, User-agent: <token> un pēc tam Disallow: /, un beigās User-agent: * grupu, kas atļauj visu pārējo. Pievienojiet sitemap adresi, un tas pievienos Sitemap rindu. Atzīmējiet Content-Signal opcijas, un tas pievienos Content-Signal rindu, kas norāda, kā drīkst izmantot jūsu saturu.

Nekas neatstāj jūsu pārlūku: fails tiek veidots lapā, kamēr jūs klikšķināt, un jūs to nokopējat no izvades lauka.

No kuras sagataves sākt

Piemērs: bloķēt apmācību, atļaut MI meklēšanu

Katrai bloķētajai rāpuļprogrammai ir sava grupa, tāpēc tās Disallow: / attiecas tikai uz to. Visas pārējās rāpuļprogrammas, ieskaitot OAI-SearchBot un Googlebot, nonāk līdz User-agent: * un drīkst lasīt visu. Content-Signal rinda atkārto to pašu nodomu rāpuļprogrammām, kas to lasa: meklēšana un reāllaika atbildes – jā, apmācība – nē.

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /

Sitemap: https://example.com/sitemap.xml

Pirms publicēšanas

Biežākās kļūdas

Biežāk uzdotie jautājumi

Vai GPTBot bloķēšana izņems manu vietni no ChatGPT?

Nē. GPTBot vāc apmācības datus. ChatGPT meklēšana izmanto OAI-SearchBot, un ChatGPT-User atver lapas, ko lūdz cilvēki. Atstājiet tās atļautas, ja vēlaties tikt citēti.

Kas ir Content-Signal?

Rinda robots.txt, kas norāda, kā drīkst izmantot jūsu saturu: search, ai-input (atbildes reāllaikā) un ai-train (apmācība), katrs jā vai nē. Atbalsts atšķiras pēc piegādātāja; rāpuļprogrammas joprojām ievēro konkrētajām rāpuļprogrammām paredzētās grupas.

Vai Google-Extended ietekmē Google meklēšanu?

Nē. Tas ir tikai robots.txt marķieris, kas nosaka, vai Google drīkst izmantot jūsu lapas saviem MI modeļiem; tas nemaina rāpošanu vai ranžēšanu Google meklēšanā.

Vai mana izvēle kaut kur tiek nosūtīta?

Nē. Ģenerators darbojas jūsu pārlūkā, un nekas netiek nosūtīts uz mūsu serveri, kamēr neizvēlaties failu pārbaudīt.

Saistītie rīki un ceļveži