Neljä kymmenestä yrityssivustosta torjuu tekoälyrobotit
165 yrityssivuston auditoinnissa Yhdysvalloissa, Isossa-Britanniassa ja Ranskassa 38 % torjui palvelimella vähintään yhden tekoälyrobotin, lähes aina koulutus- tai kaavinrobotin. Noin joka kymmenes sivusto esti myös tekoälyhakurobotin, kuten PerplexityBotin tai OAI-SearchBotin, eli robotit, jotka voivat johtaa maininnaan. Tarkista omasi yhdellä pyynnöllä robottia kohti.
Kysyt ChatGPT:ltä omasta tuotteestasi, ja se nimeää kilpailijan, arvostelusivuston ja keskusteluketjun. Joskus syy on sisällössä. Usein palomuuri vastaa tekoälyroboteille ei, eikä kukaan tiimissäsi ole huomannut sitä, koska sivusto toimii selaimessa.
Tällä sivulla
Mitä testasimme?
Haemme sivun useita kertoja samasta osoitteesta: kerran tavallisena selaimena ja kerran kunkin 14 tekoäly- ja hakurobotin nimissä, mukaan lukien OpenAI:n GPTBot, OAI-SearchBot ja ChatGPT-User, Anthropicin ClaudeBot ja Claude-SearchBot sekä Perplexityn PerplexityBot. Jos selain saa sivun ja robotti saa vastauksen 401, 403, 406, 429, 451, 503 tai haastesivun, sivusto torjuu kyseisen robotin.
Otos on 218 yrityssivustoa Yhdysvalloissa, Isossa-Britanniassa ja Ranskassa, auditoitu 18.–21. marraskuuta 2026. Täyden testin pystyimme ajamaan 165 sivustolle. Muut 53 kieltäytyivät jo tavallisesta selainpyynnöstämme tai eivät vastanneet, joten jätimme ne pois arvailun sijaan.
Mitä löysimme?
- 38 % testattavissa olleista sivustoista (63 / 165) torjui vähintään yhden tekoälyrobotin.
- Jokainen näistä sivustoista esti vähintään yhden koulutus- tai kaavinrobotin.
Bytespiderestettiin 35 %:lla kaikista sivustoista,ClaudeBot13 %:lla jaGPTBot11 %:lla. - 10 % sivustoista (16) esti myös vähintään yhden tekoälyhakurobotin, ja 5 % (8) esti robotin, joka avaa sivun heti, kun ihminen kysyy siitä avustajalta.
- Tärkeimmät estetyt hakurobotit olivat
PerplexityBot(11 sivustoa) jaOAI-SearchBot(5 sivustoa). - Cloudflare oli 32 sellaisen 66 sivuston takana, jotka torjuivat jonkin testaamistamme roboteista. Vielä 30 sivuston kohdalla emme voineet tietää, mikä palomuuri vastasi.
Miksi näin käy, ja milloin se on valinta?
Suuri osa tästä on todennäköisesti tarkoituksellista. Monet omistajat eivät halua sisältöään mallien koulutukseen, ja kaavijoita estävät bottisuojauksen asetukset on helppo ottaa käyttöön. Se on perusteltu valinta.
Ongelma on, että tekoälyyhtiöillä on erilliset robotit koulutukseen ja hakuun. Koulutusrobotin estäminen ei vaadi hakurobotin estämistä, ja juuri hakurobotti voi johtaa siihen, että sivusi mainitaan vastauksessa.
Pärjäävätkö suurimmat sivustot paremmin?
Eivät oikeastaan. 1 000 suosituimman verkkotunnuksen robots.txt-raportissamme 29,9 % robots.txt-tiedoston omistavista sivustoista estää vähintään yhden tekoälyn koulutusrobotin, ja näistä 63,2 % estää myös vähintään yhden tekoälyhaku- tai käyttäjärobotin. Vain 11,0 % estää koulutuksen mutta sallii kaikki tekoälyhakurobotit, mikä on todennäköisesti se asetus, jonka useimmat halusivat.
Miten tarkistan oman sivustoni kymmenessä minuutissa?
- Avaa
yoursite.com/robots.txt. Katso jokaisen sinulle tärkeän tekoälyrobotin kohdalla, nimeääkö jokin ryhmä sen ja mitä ryhmä sanoo. Robotin nimeävä ryhmä korvaa yleisen*-ryhmän kokonaan. - Testaa, mitä palvelin tekee, älä sitä, mitä tiedosto sanoo. Hae tärkeä sivusi selaimena ja robottina. Vastaus 403, vastaus 429, sivu otsikolla
Just a moment...tai selaimen vastausta selvästi pienempi vastaus on palomuuriesteen tunnusmerkki. - Kysy avustajalta. Kun haku on päällä, kysy ChatGPT:ltä tai Perplexitylta ostajiesi kysymykset ja katso, mitä sivustoja se mainitsee. Jos pääsy on kunnossa etkä silti näy, ongelma on sisällössä, ei pääsyssä.
Kuinka luotettavia luvut ovat?
Pidä niitä ilmiönä, älä kokonaistutkimuksena. Otos ei ole satunnainen: yritykset löytyivät mainoskirjastoista, työpaikkasivustoilta ja karttahakemistoista. Testaamme user agentin perusteella yhdestä osoitteesta, kun taas oikeat robotit tulevat valmistajiensa julkaisemista osoitteista, joten jotkin palomuurit kohtelisivat oikeita eri tavalla. Eikä esto ole aina virhe.
Seuraavat vaiheet
- robots.txt-testeri ja -tarkistin tekoälyindeksoijille
- Katso esimerkki koko raportista
- Tekoälyindeksoijien valvonta
- Tilaukset ja hinnat
Tämän artikkelin indeksoijat
Usein kysytyt kysymykset
Kuinka moni sivusto estää tekoälyrobotit?
165 testattavissa olleen yrityssivuston auditoinnissamme 38 % torjui palvelimella vähintään yhden tekoälyrobotin, enimmäkseen koulutus- ja kaavinrobotteja. Noin 10 % esti myös tekoälyhakurobotin.
Pitääkö GPTBotin estäminen sivustoni poissa ChatGPT-hausta?
Ei. OpenAI kertoo, että kukin sen robottien robots.txt-asetus on itsenäinen: GPTBot liittyy koulutukseen ja OAI-SearchBot ChatGPT-hakuun. Toisen estäminen ei estä toista.
Miten sivusto voi estää robotin ilman robots.txt-tiedostoa?
Palomuuri, CDN tai bottisuojauksen sääntö voi vastata robotille koodilla 403, 429 tai haastesivulla. robots.txt ei koskaan näytä tätä, joten se pitää testata hakemalla sivu robottina.
Onko robotin torjuminen aina virhe?
Ei. Monet omistajat haluavat pitää koulutusrobotit ja kaavijat ulkona. Virhe on estää hakurobotit vahingossa, koska juuri ne voivat mainita sivusi.
Lähteet
- AISeeWhy: AI Crawler Access Report, 2026-11
- RFC 9309: Robots Exclusion Protocol
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers
- Cloudflare: Manage AI crawlers (AI Crawl Control)