Մենք կարդացինք 10 000 ամենահայտնի կայքերի robots.txt-ը։ Ահա թե ինչ են անում դրանք AI կրաուլերների հետ
Tranco-ի լավագույն 10 000 դոմեններից robots.txt տրամադրող 6 192-ից 23,2%-ն արգելափակում է առնվազն մեկ AI ուսուցման կրաուլեր, իսկ 12,3%-ը՝ առնվազն մեկ AI որոնման կամ օգտատիրոջ կրաուլեր։ Ուսուցումն արգելափակող կայքերի 51,6%-ը արգելափակում է նաև AI որոնումը։ Ուսուցումից հրաժարվում և միաժամանակ բոլոր AI որոնման կրաուլերներին թույլատրում է ընդամենը 11,2%-ը։
Նոյեմբերին մենք կարդացինք 1000 ամենահայտնի դոմենների robots.txt-ը։ Այս անգամ կարդացինք 10 000-ինը՝ նույն մեթոդով, և ավելացրինք ստուգում, թե ինչպես է պատկերը փոխվում փոքր կայքերի դեպքում։ Հիմնական եզրակացությունը մնում է նույնը. ուսուցման և որոնման արգելափակումը դիտարկվում է որպես մեկ որոշում, թեև դրանք երկուսն են։
Այս էջում
Ինչպես չափեցինք
Մենք վերցրինք Tranco ցանկի լավագույն 10 000 դոմենները (ցանկի ID՝ JZWZY) և 2026 թվականի նոյեմբերի 21-ին մեկ անգամ բեռնեցինք յուրաքանչյուր դոմենի գլխավոր էջը, robots.txt-ը և llms.txt-ը՝ AISeeWhy-ի սեփական user agent-ով։ Յուրաքանչյուր robots.txt գնահատեցինք RFC 9309-ով՝ գլխավոր էջի (/) և 16 AI ու որոնողական կրաուլերների համար։
10 000 դոմեններից 6 192-ը տրամադրում էր robots.txt (հաջող պատասխան, որը HTML էջ չէ)։ 1121-ը պատասխանել էր 4xx-ով, ինչը նշանակում է՝ կանոններ չկան և բոլոր կրաուլերները թույլատրված են, իսկ 2687-ը չէր տրամադրում այն (HTTPS կայք չկա, սխալներ, ժամկետի ավարտ կամ դրա փոխարեն HTML էջ)։ Ստորև բոլոր տոկոսները հաշվարկված են այդ 6 192-ից։ Ցանկում կան նաև CDN-ներ և API-ներ, որոնք կայք չեն սպասարկում։
Ինչ գտանք
- 23,2%-ը (1437 դոմեն) արգելափակում է առնվազն մեկ AI ուսուցման կրաուլեր։
- 12,3%-ը (762) արգելափակում է առնվազն մեկ AI որոնման կամ օգտատիրոջ կրաուլեր, այսինքն՝ դրա վրա հիմնված պատասխանները չպետք է օգտագործեն կամ մեջբերեն այդ էջերը։
- Ուսուցման կրաուլեր արգելափակող դոմենների 51,6%-ը (1437-ից 742-ը) արգելափակում է նաև առնվազն մեկ AI որոնման կամ օգտատիրոջ կրաուլեր։
- Ընտրովի ճանապարհով գնում է ընդամենը 11,2%-ը (695). արգելափակում է ուսուցման կրաուլերները և թույլատրում բոլոր AI որոնման ու օգտատիրոջ կրաուլերները։
- 6,5%-ը (401) իր AI նախասիրությունները նշում է
Content-Signal-ով։ - Բոլոր 10 000 դոմեններից 12,4%-ը (1240) հրապարակում է
llms.txt։ - Համեմատության համար. 2,0%-ը (124) գլխավոր էջում արգելափակում է
Googlebot-ը։
Որ կրաուլերներն են ամենից հաճախ արգելափակվում
Այն 6 192 դոմենների բաժինը, որոնց robots.txt-ը կրաուլերի համար արգելում է գլխավոր էջը․
Bytespider18,7%,CCBot18,5%,GPTBot17,4%,ClaudeBot16,5%։Meta-ExternalAgent15,5%,Google-Extended14,9%,Applebot-Extended14,6%։PerplexityBot-ը՝ 10,4%, AI որոնման ամենից հաճախ արգելափակվող կրաուլերն է՝ առջևում էOAI-SearchBot-ից՝ 7,0% ևClaude-SearchBot-ից՝ 7,0%։- Կրաուլերները, որոնք բացում են էջը, երբ մարդն է հարցնում․
ChatGPT-User8,9%,Perplexity-User7,7%,Claude-User7,4%։
Մեծ կայքերն ավելի շա՞տ են արգելափակում
Այո, և նրանք ավելի հաճախ են շփոթում ուսուցումն ու որոնումը։ Ցանկը բաժանեցինք ըստ դիրքի․
- 1–1000 դիրքեր (560 դոմեն՝ robots.txt-ով)․ 28,6%-ն արգելափակում է ուսուցումը, 18,6%-ը՝ AI որոնումը, և ուսուցումն արգելափակողների 63,1%-ն արգելափակում է նաև AI որոնումը։
- 1001–3000 դիրքեր (1256 դոմեն)․ 23,5%, 13,5% և 55,6%։
- 3001–10 000 դիրքեր (4376 դոմեն)․ 22,4%, 11,2% և 48,6%։
Ընտրովի ճանապարհը հազվադեպ է բոլոր չափերի համար. երեք խմբերի դոմենների 10,5%-ը, 10,4%-ը և 11,5%-ը։
Փոխվե՞լ է արդյոք ինչ-որ բան նոյեմբերի 12-ի մեր հաշվետվությունից հետո
Առաջին 1000 դոմենները նորից ստուգեցինք նույն ցանկով։ Արդյունքը կայուն է՝ մոտ մեկ տոկոսային կետի սահմաններում. 28,6%-ն արգելափակում է ուսուցումը (նոյեմբերի 12-ին՝ 29,9%), 18,6%-ը՝ AI որոնումը (19,5%), և ուսուցումն արգելափակողների 63,1%-ն արգելափակում է նաև AI որոնումը (63,2%)։ Հայտարարները թեթևակի տարբերվում են (այժմ՝ robots.txt-ով 560 դոմեն, այն ժամանակ՝ 518), քանի որ այս անգամ բեռնելուց առաջ հետևում ենք դոմենի վերահասցեավորմանը դեպի հիմնական հոսթ։
Ինչ է սա նշանակում ձեր robots.txt-ի համար
AI ընկերությունների մեծ մասը փաստաթղթավորում է առանձին կրաուլերներ ուսուցման և որոնման համար և նշում, որ կարգավորումները միմյանցից անկախ են։ GPTBot-ի արգելումը OAI-SearchBot-ին չի դիպչում, իսկ ClaudeBot-ի արգելումը՝ Claude-SearchBot-ին։ Եթե ուզում եք հրաժարվել ուսուցումից և միևնույն ժամանակ մեջբերվել, արգելեք ուսուցման token-ները, թույլատրեք որոնման և օգտատիրոջ token-ները և բոլոր խմբերում կրկնեք փակ ուղիները, քանի որ անվանված խումբը *-ից ոչինչ չի ժառանգում։
Որքանո՞վ են հուսալի այս թվերը
Դրանք գլխավոր էջի համար robots.txt կանոններ են՝ մեկ parser-ով կարդացված մեկ օրում։ Դրանք չեն չափում firewall-ի արգելափակումները, որոնք կարող են մերժել այն կրաուլերին, որին robots.txt-ը թույլ է տալիս։ Դրանցով հնարավոր չէ իմանալ, թե յուրաքանչյուր կայք ինչ է նպատակ ունեցել, իսկ Tranco ցանկում կան դոմեններ, որոնք կայք չեն սպասարկում։ Որոնման կրաուլերն արգելափակող կանոնը սխալի ապացույց չէ, այլ ընտրության, որը հաճախ կատարվում է տարբերությունը չիմանալով։ Թվերը կարող եք մեջբերել՝ այս էջի հղումով։
Հաջորդ քայլերը
- robots.txt-ի ստուգիչ (tester) AI ռոբոտների համար
- llms.txt-ի ստուգիչ և վավերացնող
- Տեսեք ամբողջական հաշվետվության օրինակ
- AI ռոբոտների մոնիթորինգ
- Պլաններ և գներ
Այս հոդվածում նշված ռոբոտները
Հաճախ տրվող հարցեր
Հայտնի կայքերի որ մասն է արգելափակում AI կրաուլերներին
Tranco-ի լավագույն 10 000 դոմեններից robots.txt տրամադրող 6 192-ի մեջ 23,2%-ն արգելափակում է առնվազն մեկ AI ուսուցման կրաուլեր, իսկ 12,3%-ը՝ առնվազն մեկ AI որոնման կամ օգտատիրոջ կրաուլեր։
AI ուսուցումն արգելափակող կայքերն արգելափակո՞ւմ են նաև AI որոնումը
Հաճախ։ Ուսուցման կրաուլեր արգելափակող կայքերի 51,6%-ը արգելափակում է նաև առնվազն մեկ AI որոնման կամ օգտատիրոջ կրաուլեր, թեև մատակարարները դրանք փաստաթղթավորում են որպես առանձին կրաուլերներ՝ անկախ կարգավորումներով։
Որ AI կրաուլերն է ամենից հաճախ արգելափակվում
Ուսուցման կրաուլերներից՝ Bytespider-ը (18,7%) և CCBot-ը (18,5%), ապա GPTBot-ը (17,4%)։ AI որոնման կրաուլերներից ամենից հաճախ արգելափակվում է PerplexityBot-ը՝ դոմենների 10,4%-ում։
Ինչու են թվերը տարբերվում ձեր 1000 կայքի հաշվետվությունից
Առաջին 1000 դոմենները տալիս են գրեթե նույն տոկոսները (28,6% և 18,6%՝ 29,9%-ի և 19,5%-ի դիմաց)։ 10 000 կայքի թվերն ավելի ցածր են, քանի որ փոքր կայքերն ավելի քիչ են արգելափակում։
Աղբյուրներ
- AISeeWhy: AI Crawler Access Report, 2026-11
- Tranco: a research-oriented top sites ranking
- RFC 9309: Robots Exclusion Protocol
- OpenAI: Overview of OpenAI crawlers
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Perplexity: Perplexity crawlers