Lugesime 10 000 populaarseima saidi robots.txt-i. Siin on, mida nad tehisintellekti robotitega teevad

Avaldatud

Lühike vastus

Tranco 10 000 parima hulgast serveerib robots.txt-i 6192 domeeni. Neist 23,2% blokeerib vähemalt ühe tehisintellekti treeningroboti ja 12,3% vähemalt ühe tehisintellekti otsingu- või kasutajaroboti. 51,6% treeningu blokeerivatest saitidest blokeerib ka tehisintellekti otsingu. Vaid 11,2% loobub treeningust, lubades samal ajal ligipääsu kõigile tehisintellekti otsingurobotitele.

Novembris lugesime 1000 populaarseima domeeni robots.txt-i. Seekord lugesime 10 000, sama meetodiga, ja lisasime kontrolli, kuidas pilt muutub väiksemate saitide puhul. Peamine järeldus kehtib: treeningu ja otsingu blokeerimist käsitletakse ühe otsusena, kuigi need on kaks.

Sellel lehel
  1. Kuidas me mõõtsime?
  2. Mida me leidsime?
  3. Milliseid roboteid blokeeritakse kõige sagedamini?
  4. Kas suuremad saidid blokeerivad rohkem?
  5. Kas on midagi muutunud meie 12. novembri aruandest alates?
  6. Mida see tähendab sinu robots.txt-i jaoks?
  7. Kui usaldusväärsed need arvud on?

Kuidas me mõõtsime?

Võtsime Tranco nimekirja 10 000 parimat domeeni (nimekirja ID JZWZY) ja küsisime 21. novembril 2026 igaühe avalehte, robots.txt-i ja llms.txt-i ühe korra, AISeeWhy enda kasutajaagendina. Hindasime iga robots.txt-i RFC 9309 järgi avalehe (/) ja 16 tehisintellekti ning otsinguroboti suhtes.

6192 domeenist 10 000-st serveeris robots.txt-i (edukas vastus, mis ei ole HTML-leht). 1121 vastas 4xx koodiga, mis tähendab, et reegleid pole ja kõik robotid on lubatud, ja 2687 ei serveerinud seda (HTTPS-saiti pole, vead, ajalõpud või HTML-leht selle asemel). Kõik allolevad protsendid on 6192 põhjal. Nimekirjas on ka CDN-e ja API-sid, mis ei teeni ühtegi veebisaiti.

Mida me leidsime?

Milliseid roboteid blokeeritakse kõige sagedamini?

Nende 6192 domeeni osakaal, mille robots.txt keelab roboti jaoks avalehe:

Kas suuremad saidid blokeerivad rohkem?

Jah, ja nad aetakse treeningu ja otsingu vahel sagedamini segi. Jagasime nimekirja asetuse järgi:

Selektiivne tee on igas suuruses harv: 10,5%, 10,4% ja 11,5% kolme rühma domeenidest.

Kas on midagi muutunud meie 12. novembri aruandest alates?

Käivitasime esimesed 1000 domeeni uuesti sama nimekirjaga. Tulemus on umbes ühe protsendipunkti täpsusega stabiilne: 28,6% blokeerib treeningu (12. novembril 29,9%), 18,6% blokeerib tehisintellekti otsingu (19,5%) ja 63,1% treeningu blokeerijatest blokeerib ka tehisintellekti otsingu (63,2%). Nimetajad erinevad veidi (nüüd 560 domeeni robots.txt-iga, siis 518), sest see käivitus järgib enne päringut domeeni ümbersuunamist põhihostile.

Mida see tähendab sinu robots.txt-i jaoks?

Enamik tehisintellekti ettevõtteid dokumenteerib treenimiseks ja otsinguks eraldi roboteid ning ütleb, et seaded on sõltumatud. GPTBot keelamine jätab OAI-SearchBot puutumata ja ClaudeBot keelamine jätab Claude-SearchBot puutumata. Kui soovid treeningust loobuda ja siiski viidatud saada, blokeeri treeningutunnused ning luba otsingu- ja kasutajatunnused, ning korda iga privaatset rada igas grupis, sest nimetatud grupp ei päri * reegleid.

Kui usaldusväärsed need arvud on?

Need on avalehe robots.txt reeglid, mida ühe päeva jooksul luges üks parser. Need ei mõõda tulemüüri blokeeringuid, mis võivad keelata roboti, mida robots.txt lubab. Need ei suuda öelda, mida iga sait soovis, ja Tranco nimekirjas on domeene, mis ei teeni ühtegi veebisaiti. Otsingurobotit blokeeriv reegel ei ole vea tõend, vaid valiku tõend, mida sageli tehakse erinevust teadmata. Võid andmeid tsiteerida koos lingiga sellele lehele.

Tasuta tööriistad

Järgmised sammud

Selles artiklis olevad robotid

Korduma kippuvad küsimused

Kui suur osa populaarsetest saitidest blokeerib tehisintellekti roboteid?

Tranco 10 000 parima hulgast 6192 domeenist, mis serveerivad robots.txt-i, blokeerib 23,2% vähemalt ühe tehisintellekti treeningroboti ja 12,3% vähemalt ühe tehisintellekti otsingu- või kasutajaroboti.

Kas tehisintellekti treeningu blokeerivad saidid blokeerivad ka tehisintellekti otsingu?

Sageli. 51,6% treeningroboti blokeerivatest saitidest blokeerib ka vähemalt ühe tehisintellekti otsingu- või kasutajaroboti, kuigi pakkujad dokumenteerivad need eraldi robotitena sõltumatute seadetega.

Milline tehisintellekti robot on kõige sagedamini blokeeritud?

Treeningrobotitest Bytespider (18,7%) ja CCBot (18,5%), seejärel GPTBot (17,4%). Tehisintellekti otsingurobotitest blokeeritakse kõige sagedamini PerplexityBot, 10,4% domeenidest.

Miks arvud erinevad teie 1000 saidi aruandest?

Esimesed 1000 domeeni annavad peaaegu samad protsendid (28,6% ja 18,6% versus 29,9% ja 19,5%). 10 000 saidi arvud on madalamad, sest väiksemad saidid blokeerivad vähem.

Allikad

Veel artikleid