robots.txt AI-robotitele: mida lubada, mida blokeerida

Avaldatud

Lühike vastus

Anna igale AI-robotile, millest hoolid, oma User-agent grupp. Luba otsingurobotid nagu OAI-SearchBot, Claude-SearchBot ja PerplexityBot, kui soovid, et sulle viidataks, ning otsusta eraldi treeningtunnuste üle, nagu GPTBot, ClaudeBot, Google-Extended ja Applebot-Extended. Nimega grupp asendab selle roboti jaoks * grupi.

robots.txt on lihttekstifail, mis pärineb aastast 1994 ja sai 2022. aastal ametlikuks standardiks RFC 9309. Enamik AI-teenuste pakkujaid ütleb, et nende robotid järgivad seda, ja mitmed avaldavad otsingu ja treenimise jaoks eraldi tunnused. See teeb robots.txt-st lihtsaima koha AI-poliitika väljendamiseks, eeldusel et reeglid tähendavad seda, mida sa arvad.

Sellel lehel
  1. Milliseid robots.txt tunnuseid AI-robotid kasutavad?
  2. Milline näeb välja hea AI robots.txt?
  3. Kuidas robotid valivad, millised reeglid neile kehtivad?
  4. Millised on kõige levinumad robots.txt vead?
  5. Kas saan väljendada AI kasutamise poliitikat peale lubamise ja keelamise?
  6. Kui kaua muudatused aega võtavad ja kuidas neid kontrollida?

Milliseid robots.txt tunnuseid AI-robotid kasutavad?

Need on pakkujate dokumenteeritud tunnused. RFC 9309 järgi ei sõltu sobitamine suur- ja väiketähtedest.

Milline näeb välja hea AI robots.txt?

See näide laseb sisse AI-otsingu ja kasutajapäringud, loobub peamistest treeningtunnustest ja hoiab ühe privaatse ala kõigi jaoks suletuna:

User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: ChatGPT-User
User-agent: Claude-User
Allow: /
Disallow: /account/

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /

User-agent: *
Allow: /
Disallow: /account/

Sitemap: https://example.com/sitemap.xml

Mitu järjestikust User-agent rida moodustavad ühe grupi, seega kehtivad nende all olevad reeglid igale neist robotitest. Kui soovid, et sinu sisu kasutataks treenimiseks, jäta teine grupp lihtsalt välja. Google-Extended-i blokeerimine ei mõjuta Google'i otsingut: Google ütleb, et see ei mõjuta otsingusse kaasamist ega ole järjestamise signaal. Samamoodi ütleb Apple, et lehed, mis keelavad Applebot-Extended-i, võivad siiski tema otsingutulemustes ilmuda.

Kuidas robotid valivad, millised reeglid neile kehtivad?

RFC 9309 määratleb selle täpselt ja detailid selgitavad enamikku üllatusi:

Millised on kõige levinumad robots.txt vead?

Kas saan väljendada AI kasutamise poliitikat peale lubamise ja keelamise?

Cloudflare on pakkunud robots.txt jaoks välja rea Content-Signal kolme signaaliga: search (otsinguindeksi ehitamine ning linkide ja lühikeste katkendite näitamine), ai-input (sisu kasutamine reaalajas AI-vastusteks) ja ai-train (mudelite treenimine või peenhäälestamine). Cloudflare'i hallatud robots.txt saab selle sinu eest lisada.

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /

Nagu kõik robots.txt-s, on need eelistused, mitte tehnilised piirangud. Cloudflare ise märgib, et robots.txt järgimine on vabatahtlik. Rida on valikuline ega tee kahju, kuid see ei asenda ülaltoodud robotipõhiseid gruppe.

Kui kaua muudatused aega võtavad ja kuidas neid kontrollida?

RFC 9309 ütleb, et robotid ei tohiks kasutada vahemällu salvestatud robots.txt-d kauem kui 24 tundi, ning OpenAI ja Perplexity ütlevad mõlemad, et muudatuste rakendumine võib võtta umbes ööpäeva. Pea meeles ka, et robots.txt pole juurdepääsukontroll: tulemüür võib siiski blokeerida roboti, mida sinu reeglid lubavad.

AISeeWhy parsib sinu robots.txt-d RFC 9309 järgi iga testitava roboti jaoks, märgib failid, mis pole kättesaadavad või mida serveeritakse HTML-ina, näitab, kus sinu reeglid ja server lahknevad, ning annab muudatuseks valmis diff'i.

Selle probleemi parandused

Tasuta tööriistad

Järgmised sammud

Selles artiklis olevad robotid

Korduma kippuvad küsimused

Kas GPTBot-i või ClaudeBot-i blokeerimine kahjustab mu nähtavust AI-vastustes?

Otseselt mitte. Mõlemad pakkujad kasutavad otsinguks eraldi otsingurobotit, OAI-SearchBot-i ja Claude-SearchBot-i. Treeningroboti blokeerimine on poliitika valik.

Kas Google-Extended peatab AI-ülevaated?

Ei. Google ütleb, et otsingu AI-funktsioonid kasutavad Googleboti ja tavalisi otsingu seadeid nagu nosnippet ja noindex. Google-Extended hõlmab Gemini treenimist ja vastuste alusena kasutamist teistes Google'i toodetes ega mõjuta otsingut.

Kas AI-robotid toetavad Crawl-delay'd?

See pole RFC 9309 osa. Anthropic ütleb, et toetab Crawl-delay-d mittestandardse laiendusena; teiste pakkujate puhul vaata nende dokumentatsiooni.

Kus peab robots.txt asuma?

Iga hosti juurkaustas, näiteks https://example.com/robots.txt. Alamkaustas olevat faili ignoreeritakse ja iga alamdomeen vajab oma faili.

Allikad

Veel artikleid