Luimme 10 000 suosituimman sivuston robots.txt-tiedoston. Näin ne suhtautuvat tekoälyrobotteihin
Tranco-listan 10 000 suosituimmasta verkkotunnuksesta 6 192 tarjoaa robots.txt-tiedoston. Niistä 23,2 % estää vähintään yhden tekoälyn koulutusrobotin ja 12,3 % vähintään yhden tekoälyn haku- tai käyttäjärobotin. Koulutuksen estävistä sivustoista 51,6 % estää myös tekoälyhaun. Vain 11,2 % kieltäytyy koulutuksesta mutta sallii kaikki tekoälyhakurobotit.
Marraskuussa luimme 1 000 suosituimman verkkotunnuksen robots.txt-tiedostot. Nyt luimme 10 000 samalla menetelmällä ja tarkistimme lisäksi, miten kuva muuttuu sivustojen pienentyessä. Pääpäätelmä pitää: koulutuksen ja haun estämistä kohdellaan yhtenä päätöksenä, vaikka ne ovat kaksi eri asiaa.
Tällä sivulla
Miten mittasimme?
Otimme Tranco-listan 10 000 suosituinta verkkotunnusta (listan tunnus JZWZY) ja haimme kunkin etusivun, robots.txt-tiedoston ja llms.txt-tiedoston kerran 21. marraskuuta 2026 AISeeWhyn omalla user agentilla. Arvioimme jokaisen robots.txt-tiedoston RFC 9309:n mukaan etusivun (/) ja 16 tekoäly- ja hakurobotin osalta.
Näistä 10 000 verkkotunnuksesta 6 192 tarjosi robots.txt-tiedoston (onnistunut vastaus, joka ei ole HTML-sivu). 1 121 vastasi 4xx-koodilla, mikä tarkoittaa, ettei sääntöjä ole ja kaikki robotit sallitaan. 2 687 ei tarjonnut tiedostoa lainkaan (ei HTTPS-sivustoa, virheitä, aikakatkaisuja tai HTML-sivu tiedoston tilalla). Kaikki alla olevat prosenttiluvut perustuvat näihin 6 192 verkkotunnukseen. Lista sisältää myös CDN- ja API-palveluja, joilla ei ole verkkosivustoa.
Mitä löysimme?
- 23,2 % (1 437 verkkotunnusta) estää vähintään yhden tekoälyn koulutusrobotin.
- 12,3 % (762) estää vähintään yhden tekoälyn haku- tai käyttäjärobotin, joten niiden sivuja ei pitäisi käyttää eikä lainata vastauksissa, jotka nojaavat kyseiseen robottiin.
- 51,6 % koulutusrobotin estävistä verkkotunnuksista (742 / 1 437) estää myös vähintään yhden tekoälyn haku- tai käyttäjärobotin.
- Vain 11,2 % (695) valitsee valikoivan tien: ne estävät koulutusrobotit ja sallivat kaikki tekoälyn haku- ja käyttäjärobotit.
- 6,5 % (401) ilmaisee tekoälyä koskevat toiveensa
Content-Signal-ohjeella. - 12,4 % kaikista 10 000 verkkotunnuksesta (1 240) julkaisee
llms.txt-tiedoston. - Vertailuksi: 2,0 % (124) estää
Googlebot-robotin etusivulta.
Mitkä robotit estetään useimmin?
Osuus niistä 6 192 verkkotunnuksesta, joiden robots.txt kieltää robotilta etusivun:
Bytespider18,7 %,CCBot18,5 %,GPTBot17,4 %,ClaudeBot16,5 %.Meta-ExternalAgent15,5 %,Google-Extended14,9 %,Applebot-Extended14,6 %.PerplexityBot10,4 % on useimmin estetty tekoälyn hakurobotti, ennenOAI-SearchBot-robottia 7,0 % jaClaude-SearchBot-robottia 7,0 %.- Robotit, jotka avaavat sivun, kun ihminen sitä pyytää:
ChatGPT-User8,9 %,Perplexity-User7,7 % jaClaude-User7,4 %.
Estävätkö suuret sivustot enemmän?
Kyllä, ja ne sekoittavat koulutuksen ja haun useammin keskenään. Jaoimme listan sijoituksen mukaan:
- Sijat 1–1 000 (560 verkkotunnusta, joilla on robots.txt): 28,6 % estää koulutuksen, 18,6 % estää tekoälyhaun, ja koulutuksen estäjistä 63,1 % estää myös tekoälyhaun.
- Sijat 1 001–3 000 (1 256 verkkotunnusta): 23,5 %, 13,5 % ja 55,6 %.
- Sijat 3 001–10 000 (4 376 verkkotunnusta): 22,4 %, 11,2 % ja 48,6 %.
Valikoiva tie on harvinainen kaikissa kokoluokissa: 10,5 %, 10,4 % ja 11,5 % kolmen ryhmän verkkotunnuksista.
Onko jokin muuttunut 12. marraskuuta julkaisemamme raportin jälkeen?
Ajoimme 1 000 ensimmäistä verkkotunnusta uudelleen samalla listalla. Tulos pysyy vakaana noin prosenttiyksikön tarkkuudella: 28,6 % estää koulutuksen (12. marraskuuta 29,9 %), 18,6 % estää tekoälyhaun (19,5 %), ja koulutuksen estäjistä 63,1 % estää myös tekoälyhaun (63,2 %). Nimittäjät eroavat hieman (nyt 560 verkkotunnusta, joilla on robots.txt, silloin 518), koska tämä ajo seuraa verkkotunnuksen uudelleenohjausta pääpalvelimelle ennen hakua.
Mitä tämä tarkoittaa sinun robots.txt-tiedostollesi?
Useimmat tekoälyyritykset dokumentoivat erilliset robotit koulutusta ja hakua varten ja kertovat asetusten olevan toisistaan riippumattomia. GPTBot-robotin kieltäminen ei vaikuta OAI-SearchBot-robottiin, eikä ClaudeBot-robotin kieltäminen vaikuta Claude-SearchBot-robottiin. Jos haluat kieltäytyä koulutuksesta mutta tulla silti lainatuksi, estä koulutusrobotit ja salli haku- ja käyttäjärobotit. Toista myös kaikki yksityiset polut jokaisessa ryhmässä, koska nimetty ryhmä ei peri sääntöjä *-ryhmästä.
Kuinka luotettavia luvut ovat?
Ne ovat etusivua koskevia robots.txt-sääntöjä, jotka yksi jäsennin luki yhtenä päivänä. Ne eivät mittaa palomuurien estoja, jotka voivat torjua robotin, jonka robots.txt sallii. Ne eivät kerro, mitä kukin sivusto tarkoitti, ja Tranco-lista sisältää verkkotunnuksia, joilla ei ole verkkosivustoa. Hakurobotin estävä sääntö ei todista virhettä, vaan valinnan, joka tehdään usein tietämättä eroa. Voit lainata lukuja linkittämällä tähän sivuun.
Seuraavat vaiheet
- robots.txt-testeri ja -tarkistin tekoälyindeksoijille
- llms.txt-tarkistin ja -validaattori
- Katso esimerkki koko raportista
- Tekoälyindeksoijien valvonta
- Tilaukset ja hinnat
Tämän artikkelin indeksoijat
Usein kysytyt kysymykset
Kuinka suuri osa suosituista sivustoista estää tekoälyrobotit?
Tranco-listan 10 000 suosituimmasta verkkotunnuksesta 6 192 tarjoaa robots.txt-tiedoston. Niistä 23,2 % estää vähintään yhden tekoälyn koulutusrobotin ja 12,3 % vähintään yhden tekoälyn haku- tai käyttäjärobotin.
Estävätkö tekoälykoulutuksen estävät sivustot myös tekoälyhaun?
Usein estävät. Koulutusrobotin estävistä sivustoista 51,6 % estää myös vähintään yhden tekoälyn haku- tai käyttäjärobotin, vaikka palveluntarjoajat dokumentoivat ne erillisiksi roboteiksi, joiden asetukset ovat toisistaan riippumattomia.
Mikä tekoälyrobotti estetään useimmin?
Koulutusroboteista useimmin estetään Bytespider (18,7 %) ja CCBot (18,5 %), sitten GPTBot (17,4 %). Tekoälyn hakuroboteista PerplexityBot estetään useimmin, 10,4 %:lla verkkotunnuksista.
Miksi luvut eroavat 1 000 sivuston raportistanne?
Ensimmäiset 1 000 verkkotunnusta antavat lähes samat prosenttiosuudet (28,6 % ja 18,6 % verrattuna lukuihin 29,9 % ja 19,5 %). 10 000 sivuston luvut ovat pienempiä, koska pienemmät sivustot estävät vähemmän.
Lähteet
- AISeeWhy: AI Crawler Access Report, 2026-11
- Tranco: a research-oriented top sites ranking
- RFC 9309: Robots Exclusion Protocol
- OpenAI: Overview of OpenAI crawlers
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Perplexity: Perplexity crawlers