Luimme 10 000 suosituimman sivuston robots.txt-tiedoston. Näin ne suhtautuvat tekoälyrobotteihin

Julkaistu

Lyhyt vastaus

Tranco-listan 10 000 suosituimmasta verkkotunnuksesta 6 192 tarjoaa robots.txt-tiedoston. Niistä 23,2 % estää vähintään yhden tekoälyn koulutusrobotin ja 12,3 % vähintään yhden tekoälyn haku- tai käyttäjärobotin. Koulutuksen estävistä sivustoista 51,6 % estää myös tekoälyhaun. Vain 11,2 % kieltäytyy koulutuksesta mutta sallii kaikki tekoälyhakurobotit.

Marraskuussa luimme 1 000 suosituimman verkkotunnuksen robots.txt-tiedostot. Nyt luimme 10 000 samalla menetelmällä ja tarkistimme lisäksi, miten kuva muuttuu sivustojen pienentyessä. Pääpäätelmä pitää: koulutuksen ja haun estämistä kohdellaan yhtenä päätöksenä, vaikka ne ovat kaksi eri asiaa.

Tällä sivulla
  1. Miten mittasimme?
  2. Mitä löysimme?
  3. Mitkä robotit estetään useimmin?
  4. Estävätkö suuret sivustot enemmän?
  5. Onko jokin muuttunut 12. marraskuuta julkaisemamme raportin jälkeen?
  6. Mitä tämä tarkoittaa sinun robots.txt-tiedostollesi?
  7. Kuinka luotettavia luvut ovat?

Miten mittasimme?

Otimme Tranco-listan 10 000 suosituinta verkkotunnusta (listan tunnus JZWZY) ja haimme kunkin etusivun, robots.txt-tiedoston ja llms.txt-tiedoston kerran 21. marraskuuta 2026 AISeeWhyn omalla user agentilla. Arvioimme jokaisen robots.txt-tiedoston RFC 9309:n mukaan etusivun (/) ja 16 tekoäly- ja hakurobotin osalta.

Näistä 10 000 verkkotunnuksesta 6 192 tarjosi robots.txt-tiedoston (onnistunut vastaus, joka ei ole HTML-sivu). 1 121 vastasi 4xx-koodilla, mikä tarkoittaa, ettei sääntöjä ole ja kaikki robotit sallitaan. 2 687 ei tarjonnut tiedostoa lainkaan (ei HTTPS-sivustoa, virheitä, aikakatkaisuja tai HTML-sivu tiedoston tilalla). Kaikki alla olevat prosenttiluvut perustuvat näihin 6 192 verkkotunnukseen. Lista sisältää myös CDN- ja API-palveluja, joilla ei ole verkkosivustoa.

Mitä löysimme?

Mitkä robotit estetään useimmin?

Osuus niistä 6 192 verkkotunnuksesta, joiden robots.txt kieltää robotilta etusivun:

Estävätkö suuret sivustot enemmän?

Kyllä, ja ne sekoittavat koulutuksen ja haun useammin keskenään. Jaoimme listan sijoituksen mukaan:

Valikoiva tie on harvinainen kaikissa kokoluokissa: 10,5 %, 10,4 % ja 11,5 % kolmen ryhmän verkkotunnuksista.

Onko jokin muuttunut 12. marraskuuta julkaisemamme raportin jälkeen?

Ajoimme 1 000 ensimmäistä verkkotunnusta uudelleen samalla listalla. Tulos pysyy vakaana noin prosenttiyksikön tarkkuudella: 28,6 % estää koulutuksen (12. marraskuuta 29,9 %), 18,6 % estää tekoälyhaun (19,5 %), ja koulutuksen estäjistä 63,1 % estää myös tekoälyhaun (63,2 %). Nimittäjät eroavat hieman (nyt 560 verkkotunnusta, joilla on robots.txt, silloin 518), koska tämä ajo seuraa verkkotunnuksen uudelleenohjausta pääpalvelimelle ennen hakua.

Mitä tämä tarkoittaa sinun robots.txt-tiedostollesi?

Useimmat tekoälyyritykset dokumentoivat erilliset robotit koulutusta ja hakua varten ja kertovat asetusten olevan toisistaan riippumattomia. GPTBot-robotin kieltäminen ei vaikuta OAI-SearchBot-robottiin, eikä ClaudeBot-robotin kieltäminen vaikuta Claude-SearchBot-robottiin. Jos haluat kieltäytyä koulutuksesta mutta tulla silti lainatuksi, estä koulutusrobotit ja salli haku- ja käyttäjärobotit. Toista myös kaikki yksityiset polut jokaisessa ryhmässä, koska nimetty ryhmä ei peri sääntöjä *-ryhmästä.

Kuinka luotettavia luvut ovat?

Ne ovat etusivua koskevia robots.txt-sääntöjä, jotka yksi jäsennin luki yhtenä päivänä. Ne eivät mittaa palomuurien estoja, jotka voivat torjua robotin, jonka robots.txt sallii. Ne eivät kerro, mitä kukin sivusto tarkoitti, ja Tranco-lista sisältää verkkotunnuksia, joilla ei ole verkkosivustoa. Hakurobotin estävä sääntö ei todista virhettä, vaan valinnan, joka tehdään usein tietämättä eroa. Voit lainata lukuja linkittämällä tähän sivuun.

Ilmaiset työkalut

Seuraavat vaiheet

Tämän artikkelin indeksoijat

Usein kysytyt kysymykset

Kuinka suuri osa suosituista sivustoista estää tekoälyrobotit?

Tranco-listan 10 000 suosituimmasta verkkotunnuksesta 6 192 tarjoaa robots.txt-tiedoston. Niistä 23,2 % estää vähintään yhden tekoälyn koulutusrobotin ja 12,3 % vähintään yhden tekoälyn haku- tai käyttäjärobotin.

Estävätkö tekoälykoulutuksen estävät sivustot myös tekoälyhaun?

Usein estävät. Koulutusrobotin estävistä sivustoista 51,6 % estää myös vähintään yhden tekoälyn haku- tai käyttäjärobotin, vaikka palveluntarjoajat dokumentoivat ne erillisiksi roboteiksi, joiden asetukset ovat toisistaan riippumattomia.

Mikä tekoälyrobotti estetään useimmin?

Koulutusroboteista useimmin estetään Bytespider (18,7 %) ja CCBot (18,5 %), sitten GPTBot (17,4 %). Tekoälyn hakuroboteista PerplexityBot estetään useimmin, 10,4 %:lla verkkotunnuksista.

Miksi luvut eroavat 1 000 sivuston raportistanne?

Ensimmäiset 1 000 verkkotunnusta antavat lähes samat prosenttiosuudet (28,6 % ja 18,6 % verrattuna lukuihin 29,9 % ja 19,5 %). 10 000 sivuston luvut ovat pienempiä, koska pienemmät sivustot estävät vähemmän.

Lähteet

Lisää artikkeleita