robots.txt AI-robotitele: mida lubada, mida blokeerida
Anna igale AI-robotile, millest hoolid, oma User-agent grupp. Luba otsingurobotid nagu OAI-SearchBot, Claude-SearchBot ja PerplexityBot, kui soovid, et sulle viidataks, ning otsusta eraldi treeningtunnuste üle, nagu GPTBot, ClaudeBot, Google-Extended ja Applebot-Extended. Nimega grupp asendab selle roboti jaoks * grupi.
robots.txt on lihttekstifail, mis pärineb aastast 1994 ja sai 2022. aastal ametlikuks standardiks RFC 9309. Enamik AI-teenuste pakkujaid ütleb, et nende robotid järgivad seda, ja mitmed avaldavad otsingu ja treenimise jaoks eraldi tunnused. See teeb robots.txt-st lihtsaima koha AI-poliitika väljendamiseks, eeldusel et reeglid tähendavad seda, mida sa arvad.
Sellel lehel
- Milliseid robots.txt tunnuseid AI-robotid kasutavad?
- Milline näeb välja hea AI robots.txt?
- Kuidas robotid valivad, millised reeglid neile kehtivad?
- Millised on kõige levinumad robots.txt vead?
- Kas saan väljendada AI kasutamise poliitikat peale lubamise ja keelamise?
- Kui kaua muudatused aega võtavad ja kuidas neid kontrollida?
Milliseid robots.txt tunnuseid AI-robotid kasutavad?
Need on pakkujate dokumenteeritud tunnused. RFC 9309 järgi ei sõltu sobitamine suur- ja väiketähtedest.
- OpenAI:
OAI-SearchBot(ChatGPT otsing),GPTBot(treening),ChatGPT-User(kasutaja palutud külastused; OpenAI ütleb, et robots.txt ei pruugi kehtida). - Anthropic:
Claude-SearchBot(otsing),ClaudeBot(treening),Claude-User(kasutaja palutud külastused). - Perplexity:
PerplexityBot(otsing),Perplexity-User(kasutaja palutud külastused; Perplexity ütleb, et see üldjuhul ignoreerib robots.txt-d). - Google:
Googlebot(otsing, sh selle AI-funktsioonid) jaGoogle-Extended, oma robotita tunnus, mis juhib kasutamist Gemini treenimisel ja vastuste alusena. - Apple:
Applebot(Spotlight, Siri, Safari otsing) jaApplebot-Extended, mis ei rooma, kuid juhib kasutamist Apple'i alusmudelite treenimiseks. - Meta:
meta-externalagent(treening ja toodete indekseerimine) jameta-webindexer(Meta AI otsing). - Common Crawl:
CCBot, mis ehitab Common Crawli tasuta avalikku veebiandmete arhiivi.
Milline näeb välja hea AI robots.txt?
See näide laseb sisse AI-otsingu ja kasutajapäringud, loobub peamistest treeningtunnustest ja hoiab ühe privaatse ala kõigi jaoks suletuna:
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: ChatGPT-User
User-agent: Claude-User
Allow: /
Disallow: /account/
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /
User-agent: *
Allow: /
Disallow: /account/
Sitemap: https://example.com/sitemap.xml Mitu järjestikust User-agent rida moodustavad ühe grupi, seega kehtivad nende all olevad reeglid igale neist robotitest. Kui soovid, et sinu sisu kasutataks treenimiseks, jäta teine grupp lihtsalt välja. Google-Extended-i blokeerimine ei mõjuta Google'i otsingut: Google ütleb, et see ei mõjuta otsingusse kaasamist ega ole järjestamise signaal. Samamoodi ütleb Apple, et lehed, mis keelavad Applebot-Extended-i, võivad siiski tema otsingutulemustes ilmuda.
Kuidas robotid valivad, millised reeglid neile kehtivad?
RFC 9309 määratleb selle täpselt ja detailid selgitavad enamikku üllatusi:
- Robot otsib gruppi, mille
User-agentsobib tema tootetunnusega, suur- ja väiketähti arvestamata. Kui sobib mitu gruppi, liidetakse nende reeglid üheks. - Ainult siis, kui ükski grupp ei sobi, järgib robot gruppi
User-agent: *. Nimega grupp ei päri*grupist midagi. - Grupi sees võidab pikima sobiva teega reegel.
Allow: /blog/võidab/blog/postpuhul reegliDisallow: /. - Kui
AllowjaDisallowreegel sobivad sama pikkusega, tuleks kasutadaAllow-d. *tees sobib mis tahes märkidega ja$seob lõpu, seega hõlmabDisallow: /*.pdf$iga PDF-i.
Millised on kõige levinumad robots.txt vead?
- Ootus, et nimega grupp pärib
*grupist.OAI-SearchBot-i grupp, milles on ainultAllow: /, avab iga tee, ka need, mille*all keelasid. - robots.txt aadress, mis tagastab HTML-lehe, sageli olekukoodiga 200 serveeritud 404-lehe. Robotid ei leia sealt ühtegi kehtivat reeglit.
- robots.txt, mis tagastab serveri vea. RFC 9309 ütleb, et robot peab siis eeldama, et kogu sait on keelatud. 404 on teine asi: see tähendab, et piiranguid pole.
- Otsingutunnuse blokeerimine, kui eesmärk oli blokeerida treenimist, näiteks
PerplexityBot-i võiClaude-SearchBot-i keelamine mudelite treenimise vältimiseks. - Lootmine, et robots.txt peatab kasutaja palutud laadimised. Nii OpenAI kui ka Perplexity ütlevad, et nende kasutajaagendid ei pruugi seda järgida.
- Alamdomeenide unustamine. Igal hostil on oma robots.txt; Anthropicu dokumentatsioon tuletab saidiomanikele meelde, et iga alamdomeeni jaoks tuleb reeglid lisada.
Kas saan väljendada AI kasutamise poliitikat peale lubamise ja keelamise?
Cloudflare on pakkunud robots.txt jaoks välja rea Content-Signal kolme signaaliga: search (otsinguindeksi ehitamine ning linkide ja lühikeste katkendite näitamine), ai-input (sisu kasutamine reaalajas AI-vastusteks) ja ai-train (mudelite treenimine või peenhäälestamine). Cloudflare'i hallatud robots.txt saab selle sinu eest lisada.
User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: / Nagu kõik robots.txt-s, on need eelistused, mitte tehnilised piirangud. Cloudflare ise märgib, et robots.txt järgimine on vabatahtlik. Rida on valikuline ega tee kahju, kuid see ei asenda ülaltoodud robotipõhiseid gruppe.
Kui kaua muudatused aega võtavad ja kuidas neid kontrollida?
RFC 9309 ütleb, et robotid ei tohiks kasutada vahemällu salvestatud robots.txt-d kauem kui 24 tundi, ning OpenAI ja Perplexity ütlevad mõlemad, et muudatuste rakendumine võib võtta umbes ööpäeva. Pea meeles ka, et robots.txt pole juurdepääsukontroll: tulemüür võib siiski blokeerida roboti, mida sinu reeglid lubavad.
AISeeWhy parsib sinu robots.txt-d RFC 9309 järgi iga testitava roboti jaoks, märgib failid, mis pole kättesaadavad või mida serveeritakse HTML-ina, näitab, kus sinu reeglid ja server lahknevad, ning annab muudatuseks valmis diff'i.
Selle probleemi parandused
- robots.txt lubab roboti GPTBot, kuid server blokeerib selle
- robots.txt keelab roboti OAI-SearchBot
- robots.txt on HTML-leht
- robots.txt-s pole Content-Signal rida
Järgmised sammud
- robots.txt testija ja kontrollija AI-robotitele
- Vaadake täieliku raporti näidet
- AI-robotite jälgimine
- Paketid ja hinnad
Selles artiklis olevad robotid
Korduma kippuvad küsimused
Kas GPTBot-i või ClaudeBot-i blokeerimine kahjustab mu nähtavust AI-vastustes?
Otseselt mitte. Mõlemad pakkujad kasutavad otsinguks eraldi otsingurobotit, OAI-SearchBot-i ja Claude-SearchBot-i. Treeningroboti blokeerimine on poliitika valik.
Kas Google-Extended peatab AI-ülevaated?
Ei. Google ütleb, et otsingu AI-funktsioonid kasutavad Googleboti ja tavalisi otsingu seadeid nagu nosnippet ja noindex. Google-Extended hõlmab Gemini treenimist ja vastuste alusena kasutamist teistes Google'i toodetes ega mõjuta otsingut.
Kas AI-robotid toetavad Crawl-delay'd?
See pole RFC 9309 osa. Anthropic ütleb, et toetab Crawl-delay-d mittestandardse laiendusena; teiste pakkujate puhul vaata nende dokumentatsiooni.
Kus peab robots.txt asuma?
Iga hosti juurkaustas, näiteks https://example.com/robots.txt. Alamkaustas olevat faili ignoreeritakse ja iga alamdomeen vajab oma faili.
Allikad
- RFC 9309: Robots Exclusion Protocol
- OpenAI: Overview of OpenAI crawlers
- Google: Common crawlers, including Google-Extended
- Apple: About Applebot
- Cloudflare: Managed robots.txt and Content Signals