robots.txt MI rāpuļprogrammām: ko atļaut, ko bloķēt

Publicēts

Īsa atbilde

Katrai MI rāpuļprogrammai, kas jums svarīga, izveidojiet savu User-agent grupu. Atļaujiet meklēšanas rāpuļprogrammas, piemēram, OAI-SearchBot, Claude-SearchBot un PerplexityBot, ja vēlaties, lai jūs citē, un atsevišķi izlemiet par apmācības marķieriem, piemēram, GPTBot, ClaudeBot, Google-Extended un Applebot-Extended. Nosaukta grupa šai rāpuļprogrammai aizstāj grupu *.

robots.txt ir vienkāršs teksta fails, kas radās 1994. gadā un 2022. gadā kļuva par formālu standartu RFC 9309. Lielākā daļa MI piegādātāju norāda, ka viņu rāpuļprogrammas to ievēro, un vairāki publicē atsevišķus marķierus meklēšanai un apmācībai. Tas padara robots.txt par vienkāršāko vietu, kur paust MI politiku, ja vien kārtulas nozīmē to, ko jūs domājat.

Šajā lapā
  1. Kurus robots.txt marķierus izmanto MI rāpuļprogrammas?
  2. Kā izskatās labs robots.txt MI rāpuļprogrammām?
  3. Kā rāpuļprogrammas izvēlas, kuras kārtulas uz tām attiecas?
  4. Kādas ir biežākās robots.txt kļūdas?
  5. Vai varu paust MI izmantošanas politiku plašāk par atļaušanu un aizliegšanu?
  6. Cik ilgā laikā izmaiņas stājas spēkā, un kā tās pārbaudīt?

Kurus robots.txt marķierus izmanto MI rāpuļprogrammas?

Šie ir piegādātāju dokumentētie marķieri. Saskaņā ar RFC 9309 salīdzināšana nav reģistrjutīga.

Kā izskatās labs robots.txt MI rāpuļprogrammām?

Šis piemērs ielaiž MI meklēšanu un lietotāju pieprasījumus, atsakās no galvenajiem apmācības marķieriem un tur vienu privāto daļu slēgtu visiem:

User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: ChatGPT-User
User-agent: Claude-User
Allow: /
Disallow: /account/

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /

User-agent: *
Allow: /
Disallow: /account/

Sitemap: https://example.com/sitemap.xml

Vairākas User-agent rindas pēc kārtas veido vienu grupu, tāpēc zem tām esošās kārtulas attiecas uz katru no šīm rāpuļprogrammām. Ja vēlaties, lai jūsu saturs tiktu izmantots apmācībai, vienkārši izlaidiet otro grupu. Google-Extended bloķēšana neietekmē Google Search: Google norāda, ka tā neietekmē iekļaušanu meklēšanā un nav ranžēšanas signāls. Līdzīgi Apple norāda, ka lapas, kas aizliedz Applebot-Extended, joprojām var parādīties tās meklēšanas rezultātos.

Kā rāpuļprogrammas izvēlas, kuras kārtulas uz tām attiecas?

RFC 9309 to nosaka precīzi, un detaļas izskaidro lielāko daļu pārsteigumu:

Kādas ir biežākās robots.txt kļūdas?

Vai varu paust MI izmantošanas politiku plašāk par atļaušanu un aizliegšanu?

Cloudflare ir ierosinājusi robots.txt rindu Content-Signal ar trim signāliem: search (meklēšanas indeksa veidošana un saišu un īsu fragmentu rādīšana), ai-input (satura izmantošana reāllaikā MI atbildēm) un ai-train (modeļu apmācība vai pielāgošana). Cloudflare pārvaldītais robots.txt var to pievienot jūsu vietā.

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /

Tāpat kā viss robots.txt, tās ir vēlmes, nevis tehniskas kontroles. Pati Cloudflare atzīmē, ka robots.txt ievērošana ir brīvprātīga. Rinda nav obligāta un nekaitē, bet tā neaizstāj iepriekš aprakstītās grupas katrai rāpuļprogrammai.

Cik ilgā laikā izmaiņas stājas spēkā, un kā tās pārbaudīt?

RFC 9309 nosaka, ka rāpuļprogrammām nevajadzētu izmantot kešatmiņā saglabātu robots.txt ilgāk par 24 stundām, un gan OpenAI, gan Perplexity norāda, ka izmaiņu stāšanās spēkā var aizņemt aptuveni dienu. Atcerieties arī, ka robots.txt nav piekļuves kontrole: ugunsmūris joprojām var bloķēt rāpuļprogrammu, ko jūsu kārtulas atļauj.

AISeeWhy parsē jūsu robots.txt pēc RFC 9309 katrai pārbaudītajai rāpuļprogrammai, atzīmē failus, kas nav sasniedzami vai tiek izsniegti kā HTML, parāda, kur jūsu kārtulas un serveris nesaskan, un dod gatavu izmaiņu diff.

Labojumi šai problēmai

Bezmaksas rīki

Nākamie soļi

Šajā rakstā minētās rāpuļprogrammas

Biežāk uzdotie jautājumi

Vai GPTBot vai ClaudeBot bloķēšana kaitē manai redzamībai MI atbildēs?

Tieši ne. Abi piegādātāji meklēšanai izmanto atsevišķas meklēšanas rāpuļprogrammas — OAI-SearchBot un Claude-SearchBot. Apmācības rāpuļprogrammas bloķēšana ir politikas izvēle.

Vai Google-Extended aptur AI Overviews?

Nē. Google norāda, ka MI funkcijas meklēšanā izmanto Googlebot un parastās Search kontroles, piemēram, nosnippet un noindex. Google-Extended aptver Gemini apmācību un pamatojumu citos Google produktos un neietekmē meklēšanu.

Vai MI rāpuļprogrammas atbalsta Crawl-delay?

Tas nav RFC 9309 daļa. Anthropic norāda, ka atbalsta Crawl-delay kā nestandarta paplašinājumu; par citiem piegādātājiem skatiet viņu dokumentāciju.

Kur jāatrodas robots.txt?

Katra resursdatora saknē, piemēram, https://example.com/robots.txt. Fails apakšmapē tiek ignorēts, un katram apakšdomēnam vajadzīgs savs.

Avoti

Citi raksti