robots.txt tekoälycrawlereille: mitä sallia ja mitä estää

Q: Tukevatko tekoälycrawlerit Crawl-delayta?

Se ei kuulu RFC 9309:ään. Anthropic sanoo tukevansa Crawl-delayta standardista poikkeavana laajennuksena; muiden toimittajien osalta tarkista heidän dokumentaationsa.

Q: Missä robots.txt:n on sijaittava?

Jokaisen isännän juuressa, esimerkiksi https://example.com/robots.txt. Alikansiossa oleva tiedosto ohitetaan, ja jokainen aliverkkotunnus tarvitsee omansa.

Julkaistu 2026-11-12

Lyhyt vastaus

Anna jokaiselle tärkeäksi katsomallesi tekoälycrawlerille oma User-agent-ryhmä. Salli hakucrawlerit kuten OAI-SearchBot, Claude-SearchBot ja PerplexityBot, jos haluat tulla lainatuksi, ja päätä erikseen koulutustokeneista kuten GPTBot, ClaudeBot, Google-Extended ja Applebot-Extended. Nimetty ryhmä korvaa ryhmän * kyseiselle crawlerille.

robots.txt on pelkkä tekstitiedosto, joka juontaa juurensa vuoteen 1994 ja josta tuli virallinen standardi, RFC 9309, vuonna 2022. Useimmat tekoälytoimittajat sanovat crawlerinsa noudattavan sitä, ja useat julkaisevat erilliset tokenit haulle ja koulutukselle. Siksi robots.txt on helpoin paikka ilmaista tekoälylinjaus, kunhan säännöt tarkoittavat sitä, mitä luulet niiden tarkoittavan.

Tällä sivulla

Mitä robots.txt-tokeneita tekoälycrawlerit käyttävät
Millainen on hyvä tekoälyn robots.txt
Miten crawlerit valitsevat, mitkä säännöt koskevat niitä
Mitkä ovat yleisimmät robots.txt-virheet
Voinko ilmaista tekoälyn käyttölinjauksen allow- ja disallow-sääntöjä pidemmälle
Kuinka kauan muutokset kestävät ja miten tarkistan ne

Mitä robots.txt-tokeneita tekoälycrawlerit käyttävät

Nämä ovat toimittajien dokumentoimat tokenit. RFC 9309:n mukaan vertailu ei erottele isoja ja pieniä kirjaimia.

OpenAI: OAI-SearchBot (ChatGPT-haku), GPTBot (koulutus), ChatGPT-User (käyttäjän pyytämät vierailut; OpenAI sanoo, ettei robots.txt välttämättä päde).
Anthropic: Claude-SearchBot (haku), ClaudeBot (koulutus), Claude-User (käyttäjän pyytämät vierailut).
Perplexity: PerplexityBot (haku), Perplexity-User (käyttäjän pyytämät vierailut; Perplexity sanoo ohittavansa robots.txt:n yleensä).
Google: Googlebot (Haku, mukaan lukien sen tekoälyominaisuudet) ja Google-Extended, token ilman omaa crawleria, joka ohjaa käyttöä Geminin koulutuksessa ja groundingissa.
Apple: Applebot (Spotlight, Siri, Safari-haku) ja Applebot-Extended, joka ei läpikäy sivuja mutta ohjaa käyttöä Applen perusmallien koulutuksessa.
Meta: meta-externalagent (koulutus ja tuoteindeksointi) ja meta-webindexer (Meta AI -haku).
Common Crawl: CCBot, joka rakentaa Common Crawlin ilmaista, julkista verkkodata-arkistoa.

Millainen on hyvä tekoälyn robots.txt

Tämä esimerkki päästää sisään tekoälyhaun ja käyttäjän noudot, kieltäytyy tärkeimmistä koulutustokeneista ja pitää yhden yksityisen alueen suljettuna kaikilta:

User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: ChatGPT-User
User-agent: Claude-User
Allow: /
Disallow: /account/

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /

User-agent: *
Allow: /
Disallow: /account/

Sitemap: https://example.com/sitemap.xml

Useat peräkkäiset User-agent-rivit muodostavat yhden ryhmän, joten niiden alla olevat säännöt koskevat jokaista näistä crawlereista. Jos haluat sisältösi käytettävän koulutukseen, jätä toinen ryhmä yksinkertaisesti pois. Google-Extendedin estäminen ei vaikuta Google-hakuun: Google sanoo, ettei se vaikuta hakuun sisällyttämiseen eikä ole ranking-signaali. Samoin Apple sanoo, että sivut, jotka estävät Applebot-Extendedin, voivat silti näkyä sen hakutuloksissa.

Miten crawlerit valitsevat, mitkä säännöt koskevat niitä

RFC 9309 määrittelee tämän tarkasti, ja yksityiskohdat selittävät useimmat yllätykset:

Crawler etsii ryhmän, jonka User-agent vastaa sen tuotetokenia kirjainkoosta riippumatta. Jos useampi ryhmä täsmää, niiden säännöt yhdistetään yhdeksi.
Vain jos mikään ryhmä ei täsmää, crawler noudattaa ryhmää User-agent: *. Nimetty ryhmä ei peri mitään ryhmältä *.
Ryhmän sisällä voittaa sääntö, jonka polku täsmää pisimmältä. Allow: /blog/ voittaa Disallow: / polulla /blog/post.
Jos Allow- ja Disallow-sääntö täsmäävät yhtä pitkältä, tulee käyttää Allowta.
* polussa vastaa mitä tahansa merkkejä ja $ ankkuroi lopun, joten Disallow: /*.pdf$ kattaa kaikki PDF-tiedostot.

Mitkä ovat yleisimmät robots.txt-virheet

Odotus, että nimetty ryhmä perii ryhmältä *. Ryhmä OAI-SearchBotille, jossa on vain Allow: /, avaa kaikki polut, myös ne, jotka kiellit ryhmässä *.
robots.txt-osoite, joka palauttaa HTML-sivun, usein 404-sivun tilakoodilla 200. Crawlerit eivät löydä siitä kelvollisia sääntöjä.
robots.txt, joka palauttaa palvelinvirheen. RFC 9309 sanoo, että crawlerin on silloin oletettava koko sivusto kielletyksi. 404 on eri asia: se tarkoittaa, ettei rajoituksia ole.
Hakutokenin estäminen, kun tarkoitus on estää koulutus, esimerkiksi PerplexityBotin tai Claude-SearchBotin kieltäminen mallikoulutuksen välttämiseksi.
Luottaminen siihen, että robots.txt pysäyttää käyttäjän pyytämät noudot. OpenAI ja Perplexity sanovat molemmat, etteivät niiden user agentit välttämättä noudata sitä.
Aliverkkotunnusten unohtaminen. Jokaisella isännällä on oma robots.txt; Anthropicin dokumentaatio muistuttaa sivustojen omistajia lisäämään säännöt jokaiselle aliverkkotunnukselle.

Voinko ilmaista tekoälyn käyttölinjauksen allow- ja disallow-sääntöjä pidemmälle

Cloudflare on ehdottanut robots.txt:ään Content-Signal-riviä, jossa on kolme signaalia: search (hakuindeksin rakentaminen sekä linkkien ja lyhyiden otteiden näyttäminen), ai-input (sisällön käyttö reaaliajassa tekoälyvastauksiin) ja ai-train (mallien kouluttaminen tai hienosäätö). Cloudflaren hallinnoima robots.txt voi lisätä sen puolestasi.

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /

Kuten kaikki robots.txt:ssä, nämä ovat toiveita, eivät teknisiä rajoituksia. Cloudflare itse huomauttaa, että robots.txt:n noudattaminen on vapaaehtoista. Rivi on valinnainen eikä haittaa, mutta se ei korvaa yllä olevia crawlerikohtaisia ryhmiä.

Kuinka kauan muutokset kestävät ja miten tarkistan ne

RFC 9309 sanoo, että crawlerien ei tule käyttää välimuistissa olevaa robots.txt:ää yli 24 tuntia, ja OpenAI ja Perplexity sanovat molemmat, että muutokset voivat kestää noin vuorokauden. Muista myös, ettei robots.txt ole pääsynhallintaa: palomuuri voi silti estää crawlerin, jonka sääntösi sallivat.

AISeeWhy jäsentää robots.txt:si RFC 9309:n mukaan jokaiselle testaamalleen crawlerille, merkitsee tiedostot, joita ei tavoiteta tai jotka tarjoillaan HTML:nä, näyttää, missä sääntösi ja palvelimesi ovat eri mieltä, ja antaa valmiin diffin muutosta varten.

Usein kysytyt kysymykset

Haittaako GPTBotin tai ClaudeBotin estäminen näkyvyyttäni tekoälyvastauksissa?

Ei suoraan. Molemmat toimittajat käyttävät hakuun erillisiä hakucrawlereita, OAI-SearchBotia ja Claude-SearchBotia. Koulutuscrawlerin estäminen on linjausvalinta.

Pysäyttääkö Google-Extended tekoälytiivistelmät?

Ei. Google sanoo, että haun tekoälyominaisuudet käyttävät Googlebotia ja tavallisia haun hallintakeinoja kuten nosnippet ja noindex. Google-Extended koskee Geminin koulutusta ja groundingia muissa Googlen tuotteissa, eikä se vaikuta hakuun.

Tukevatko tekoälycrawlerit Crawl-delayta?

Se ei kuulu RFC 9309:ään. Anthropic sanoo tukevansa Crawl-delayta standardista poikkeavana laajennuksena; muiden toimittajien osalta tarkista heidän dokumentaationsa.

Missä robots.txt:n on sijaittava?

Jokaisen isännän juuressa, esimerkiksi https://example.com/robots.txt. Alikansiossa oleva tiedosto ohitetaan, ja jokainen aliverkkotunnus tarvitsee omansa.