Lugesime 10 000 populaarseima saidi robots.txt-i. Siin on, mida nad tehisintellekti robotitega teevad
Tranco 10 000 parima hulgast serveerib robots.txt-i 6192 domeeni. Neist 23,2% blokeerib vähemalt ühe tehisintellekti treeningroboti ja 12,3% vähemalt ühe tehisintellekti otsingu- või kasutajaroboti. 51,6% treeningu blokeerivatest saitidest blokeerib ka tehisintellekti otsingu. Vaid 11,2% loobub treeningust, lubades samal ajal ligipääsu kõigile tehisintellekti otsingurobotitele.
Novembris lugesime 1000 populaarseima domeeni robots.txt-i. Seekord lugesime 10 000, sama meetodiga, ja lisasime kontrolli, kuidas pilt muutub väiksemate saitide puhul. Peamine järeldus kehtib: treeningu ja otsingu blokeerimist käsitletakse ühe otsusena, kuigi need on kaks.
Sellel lehel
Kuidas me mõõtsime?
Võtsime Tranco nimekirja 10 000 parimat domeeni (nimekirja ID JZWZY) ja küsisime 21. novembril 2026 igaühe avalehte, robots.txt-i ja llms.txt-i ühe korra, AISeeWhy enda kasutajaagendina. Hindasime iga robots.txt-i RFC 9309 järgi avalehe (/) ja 16 tehisintellekti ning otsinguroboti suhtes.
6192 domeenist 10 000-st serveeris robots.txt-i (edukas vastus, mis ei ole HTML-leht). 1121 vastas 4xx koodiga, mis tähendab, et reegleid pole ja kõik robotid on lubatud, ja 2687 ei serveerinud seda (HTTPS-saiti pole, vead, ajalõpud või HTML-leht selle asemel). Kõik allolevad protsendid on 6192 põhjal. Nimekirjas on ka CDN-e ja API-sid, mis ei teeni ühtegi veebisaiti.
Mida me leidsime?
- 23,2% (1437 domeeni) blokeerib vähemalt ühe tehisintellekti treeningroboti.
- 12,3% (762) blokeerib vähemalt ühe tehisintellekti otsingu- või kasutajaroboti, seega ei tohiks nende lehti kasutada ega neile viidata vastustes, mis sellele toetuvad.
- 51,6% treeningroboti blokeerivatest domeenidest (742 1437-st) blokeerib ka vähemalt ühe tehisintellekti otsingu- või kasutajaroboti.
- Vaid 11,2% (695) valib selektiivse tee: nad blokeerivad treeningrobotid ja lubavad kõik tehisintellekti otsingu- ja kasutajarobotid.
- 6,5% (401) esitab oma tehisintellekti eelistused
Content-Signalabil. - 12,4% kõigist 10 000 domeenist (1240) avaldab
llms.txtfaili. - Võrdluseks: 2,0% (124) blokeerib avalehel
Googlebot.
Milliseid roboteid blokeeritakse kõige sagedamini?
Nende 6192 domeeni osakaal, mille robots.txt keelab roboti jaoks avalehe:
Bytespider18,7%,CCBot18,5%,GPTBot17,4%,ClaudeBot16,5%.Meta-ExternalAgent15,5%,Google-Extended14,9%,Applebot-Extended14,6%.PerplexityBot10,4% on kõige sagedamini blokeeritud tehisintellekti otsingurobot, järgnevadOAI-SearchBot7,0% jaClaude-SearchBot7,0%.- Robotid, mis avavad lehe siis, kui inimene küsib:
ChatGPT-User8,9%,Perplexity-User7,7%,Claude-User7,4%.
Kas suuremad saidid blokeerivad rohkem?
Jah, ja nad aetakse treeningu ja otsingu vahel sagedamini segi. Jagasime nimekirja asetuse järgi:
- Kohad 1 kuni 1000 (560 domeeni robots.txt-iga): 28,6% blokeerib treeningu, 18,6% blokeerib tehisintellekti otsingu ja 63,1% treeningu blokeerijatest blokeerib ka tehisintellekti otsingu.
- Kohad 1001 kuni 3000 (1256 domeeni): 23,5%, 13,5% ja 55,6%.
- Kohad 3001 kuni 10 000 (4376 domeeni): 22,4%, 11,2% ja 48,6%.
Selektiivne tee on igas suuruses harv: 10,5%, 10,4% ja 11,5% kolme rühma domeenidest.
Kas on midagi muutunud meie 12. novembri aruandest alates?
Käivitasime esimesed 1000 domeeni uuesti sama nimekirjaga. Tulemus on umbes ühe protsendipunkti täpsusega stabiilne: 28,6% blokeerib treeningu (12. novembril 29,9%), 18,6% blokeerib tehisintellekti otsingu (19,5%) ja 63,1% treeningu blokeerijatest blokeerib ka tehisintellekti otsingu (63,2%). Nimetajad erinevad veidi (nüüd 560 domeeni robots.txt-iga, siis 518), sest see käivitus järgib enne päringut domeeni ümbersuunamist põhihostile.
Mida see tähendab sinu robots.txt-i jaoks?
Enamik tehisintellekti ettevõtteid dokumenteerib treenimiseks ja otsinguks eraldi roboteid ning ütleb, et seaded on sõltumatud. GPTBot keelamine jätab OAI-SearchBot puutumata ja ClaudeBot keelamine jätab Claude-SearchBot puutumata. Kui soovid treeningust loobuda ja siiski viidatud saada, blokeeri treeningutunnused ning luba otsingu- ja kasutajatunnused, ning korda iga privaatset rada igas grupis, sest nimetatud grupp ei päri * reegleid.
Kui usaldusväärsed need arvud on?
Need on avalehe robots.txt reeglid, mida ühe päeva jooksul luges üks parser. Need ei mõõda tulemüüri blokeeringuid, mis võivad keelata roboti, mida robots.txt lubab. Need ei suuda öelda, mida iga sait soovis, ja Tranco nimekirjas on domeene, mis ei teeni ühtegi veebisaiti. Otsingurobotit blokeeriv reegel ei ole vea tõend, vaid valiku tõend, mida sageli tehakse erinevust teadmata. Võid andmeid tsiteerida koos lingiga sellele lehele.
Järgmised sammud
- robots.txt testija ja kontrollija AI-robotitele
- llms.txt kontrollija ja valideerija
- Vaadake täieliku raporti näidet
- AI-robotite jälgimine
- Paketid ja hinnad
Selles artiklis olevad robotid
Korduma kippuvad küsimused
Kui suur osa populaarsetest saitidest blokeerib tehisintellekti roboteid?
Tranco 10 000 parima hulgast 6192 domeenist, mis serveerivad robots.txt-i, blokeerib 23,2% vähemalt ühe tehisintellekti treeningroboti ja 12,3% vähemalt ühe tehisintellekti otsingu- või kasutajaroboti.
Kas tehisintellekti treeningu blokeerivad saidid blokeerivad ka tehisintellekti otsingu?
Sageli. 51,6% treeningroboti blokeerivatest saitidest blokeerib ka vähemalt ühe tehisintellekti otsingu- või kasutajaroboti, kuigi pakkujad dokumenteerivad need eraldi robotitena sõltumatute seadetega.
Milline tehisintellekti robot on kõige sagedamini blokeeritud?
Treeningrobotitest Bytespider (18,7%) ja CCBot (18,5%), seejärel GPTBot (17,4%). Tehisintellekti otsingurobotitest blokeeritakse kõige sagedamini PerplexityBot, 10,4% domeenidest.
Miks arvud erinevad teie 1000 saidi aruandest?
Esimesed 1000 domeeni annavad peaaegu samad protsendid (28,6% ja 18,6% versus 29,9% ja 19,5%). 10 000 saidi arvud on madalamad, sest väiksemad saidid blokeerivad vähem.
Allikad
- AISeeWhy: AI Crawler Access Report, 2026-11
- Tranco: a research-oriented top sites ranking
- RFC 9309: Robots Exclusion Protocol
- OpenAI: Overview of OpenAI crawlers
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Perplexity: Perplexity crawlers