Մենք կարդացինք 10 000 ամենահայտնի կայքերի robots.txt-ը։ Ահա թե ինչ են անում դրանք AI կրաուլերների հետ

Հրապարակված է

Կարճ պատասխան

Tranco-ի լավագույն 10 000 դոմեններից robots.txt տրամադրող 6 192-ից 23,2%-ն արգելափակում է առնվազն մեկ AI ուսուցման կրաուլեր, իսկ 12,3%-ը՝ առնվազն մեկ AI որոնման կամ օգտատիրոջ կրաուլեր։ Ուսուցումն արգելափակող կայքերի 51,6%-ը արգելափակում է նաև AI որոնումը։ Ուսուցումից հրաժարվում և միաժամանակ բոլոր AI որոնման կրաուլերներին թույլատրում է ընդամենը 11,2%-ը։

Նոյեմբերին մենք կարդացինք 1000 ամենահայտնի դոմենների robots.txt-ը։ Այս անգամ կարդացինք 10 000-ինը՝ նույն մեթոդով, և ավելացրինք ստուգում, թե ինչպես է պատկերը փոխվում փոքր կայքերի դեպքում։ Հիմնական եզրակացությունը մնում է նույնը. ուսուցման և որոնման արգելափակումը դիտարկվում է որպես մեկ որոշում, թեև դրանք երկուսն են։

Այս էջում
  1. Ինչպես չափեցինք
  2. Ինչ գտանք
  3. Որ կրաուլերներն են ամենից հաճախ արգելափակվում
  4. Մեծ կայքերն ավելի շա՞տ են արգելափակում
  5. Փոխվե՞լ է արդյոք ինչ-որ բան նոյեմբերի 12-ի մեր հաշվետվությունից հետո
  6. Ինչ է սա նշանակում ձեր robots.txt-ի համար
  7. Որքանո՞վ են հուսալի այս թվերը

Ինչպես չափեցինք

Մենք վերցրինք Tranco ցանկի լավագույն 10 000 դոմենները (ցանկի ID՝ JZWZY) և 2026 թվականի նոյեմբերի 21-ին մեկ անգամ բեռնեցինք յուրաքանչյուր դոմենի գլխավոր էջը, robots.txt-ը և llms.txt-ը՝ AISeeWhy-ի սեփական user agent-ով։ Յուրաքանչյուր robots.txt գնահատեցինք RFC 9309-ով՝ գլխավոր էջի (/) և 16 AI ու որոնողական կրաուլերների համար։

10 000 դոմեններից 6 192-ը տրամադրում էր robots.txt (հաջող պատասխան, որը HTML էջ չէ)։ 1121-ը պատասխանել էր 4xx-ով, ինչը նշանակում է՝ կանոններ չկան և բոլոր կրաուլերները թույլատրված են, իսկ 2687-ը չէր տրամադրում այն (HTTPS կայք չկա, սխալներ, ժամկետի ավարտ կամ դրա փոխարեն HTML էջ)։ Ստորև բոլոր տոկոսները հաշվարկված են այդ 6 192-ից։ Ցանկում կան նաև CDN-ներ և API-ներ, որոնք կայք չեն սպասարկում։

Ինչ գտանք

Որ կրաուլերներն են ամենից հաճախ արգելափակվում

Այն 6 192 դոմենների բաժինը, որոնց robots.txt-ը կրաուլերի համար արգելում է գլխավոր էջը․

Մեծ կայքերն ավելի շա՞տ են արգելափակում

Այո, և նրանք ավելի հաճախ են շփոթում ուսուցումն ու որոնումը։ Ցանկը բաժանեցինք ըստ դիրքի․

Ընտրովի ճանապարհը հազվադեպ է բոլոր չափերի համար. երեք խմբերի դոմենների 10,5%-ը, 10,4%-ը և 11,5%-ը։

Փոխվե՞լ է արդյոք ինչ-որ բան նոյեմբերի 12-ի մեր հաշվետվությունից հետո

Առաջին 1000 դոմենները նորից ստուգեցինք նույն ցանկով։ Արդյունքը կայուն է՝ մոտ մեկ տոկոսային կետի սահմաններում. 28,6%-ն արգելափակում է ուսուցումը (նոյեմբերի 12-ին՝ 29,9%), 18,6%-ը՝ AI որոնումը (19,5%), և ուսուցումն արգելափակողների 63,1%-ն արգելափակում է նաև AI որոնումը (63,2%)։ Հայտարարները թեթևակի տարբերվում են (այժմ՝ robots.txt-ով 560 դոմեն, այն ժամանակ՝ 518), քանի որ այս անգամ բեռնելուց առաջ հետևում ենք դոմենի վերահասցեավորմանը դեպի հիմնական հոսթ։

Ինչ է սա նշանակում ձեր robots.txt-ի համար

AI ընկերությունների մեծ մասը փաստաթղթավորում է առանձին կրաուլերներ ուսուցման և որոնման համար և նշում, որ կարգավորումները միմյանցից անկախ են։ GPTBot-ի արգելումը OAI-SearchBot-ին չի դիպչում, իսկ ClaudeBot-ի արգելումը՝ Claude-SearchBot-ին։ Եթե ուզում եք հրաժարվել ուսուցումից և միևնույն ժամանակ մեջբերվել, արգելեք ուսուցման token-ները, թույլատրեք որոնման և օգտատիրոջ token-ները և բոլոր խմբերում կրկնեք փակ ուղիները, քանի որ անվանված խումբը *-ից ոչինչ չի ժառանգում։

Որքանո՞վ են հուսալի այս թվերը

Դրանք գլխավոր էջի համար robots.txt կանոններ են՝ մեկ parser-ով կարդացված մեկ օրում։ Դրանք չեն չափում firewall-ի արգելափակումները, որոնք կարող են մերժել այն կրաուլերին, որին robots.txt-ը թույլ է տալիս։ Դրանցով հնարավոր չէ իմանալ, թե յուրաքանչյուր կայք ինչ է նպատակ ունեցել, իսկ Tranco ցանկում կան դոմեններ, որոնք կայք չեն սպասարկում։ Որոնման կրաուլերն արգելափակող կանոնը սխալի ապացույց չէ, այլ ընտրության, որը հաճախ կատարվում է տարբերությունը չիմանալով։ Թվերը կարող եք մեջբերել՝ այս էջի հղումով։

Անվճար գործիքներ

Հաջորդ քայլերը

Այս հոդվածում նշված ռոբոտները

Հաճախ տրվող հարցեր

Հայտնի կայքերի որ մասն է արգելափակում AI կրաուլերներին

Tranco-ի լավագույն 10 000 դոմեններից robots.txt տրամադրող 6 192-ի մեջ 23,2%-ն արգելափակում է առնվազն մեկ AI ուսուցման կրաուլեր, իսկ 12,3%-ը՝ առնվազն մեկ AI որոնման կամ օգտատիրոջ կրաուլեր։

AI ուսուցումն արգելափակող կայքերն արգելափակո՞ւմ են նաև AI որոնումը

Հաճախ։ Ուսուցման կրաուլեր արգելափակող կայքերի 51,6%-ը արգելափակում է նաև առնվազն մեկ AI որոնման կամ օգտատիրոջ կրաուլեր, թեև մատակարարները դրանք փաստաթղթավորում են որպես առանձին կրաուլերներ՝ անկախ կարգավորումներով։

Որ AI կրաուլերն է ամենից հաճախ արգելափակվում

Ուսուցման կրաուլերներից՝ Bytespider-ը (18,7%) և CCBot-ը (18,5%), ապա GPTBot-ը (17,4%)։ AI որոնման կրաուլերներից ամենից հաճախ արգելափակվում է PerplexityBot-ը՝ դոմենների 10,4%-ում։

Ինչու են թվերը տարբերվում ձեր 1000 կայքի հաշվետվությունից

Առաջին 1000 դոմենները տալիս են գրեթե նույն տոկոսները (28,6% և 18,6%՝ 29,9%-ի և 19,5%-ի դիմաց)։ 10 000 կայքի թվերն ավելի ցածր են, քանի որ փոքր կայքերն ավելի քիչ են արգելափակում։

Աղբյուրներ

Այլ հոդվածներ