Ən populyar 10 000 saytın robots.txt faylını oxuduq. AI crawlerlərə münasibət belədir

Dərc olunub

Qısa cavab

Tranco top 10 000 siyahısında robots.txt təqdim edən 6 192 domendən 23,2%-i ən azı bir AI təlim crawlerini, 12,3%-i isə ən azı bir AI axtarış və ya istifadəçi crawlerini bloklayır. Təlimi bloklayan saytların 51,6%-i AI axtarışı da bloklayır. Təlimdən imtina edib bütün AI axtarış crawlerlərinə icazə verənlər cəmi 11,2%-dir.

Noyabrda ən populyar 1 000 domenin robots.txt faylını oxumuşduq. Bu dəfə eyni metodla 10 000 domeni oxuduq və saytlar kiçildikcə mənzərənin necə dəyişdiyini də yoxladıq. Əsas nəticə dəyişmir: təlimi bloklamaq və axtarışı bloklamaq iki ayrı qərar olsa da, bir qərar kimi qəbul edilir.

Bu səhifədə
  1. Bunu necə ölçdük?
  2. Nə tapdıq?
  3. Hansı crawlerlər ən çox bloklanır?
  4. Böyük saytlar daha çox bloklayırmı?
  5. 12 noyabr hesabatımızdan bəri nəsə dəyişibmi?
  6. Bu sizin robots.txt faylınız üçün nə deməkdir?
  7. Bu rəqəmlər nə dərəcədə etibarlıdır?

Bunu necə ölçdük?

Tranco siyahısının (siyahı ID-si JZWZY) ilk 10 000 domenini götürdük və 21 noyabr 2026-cı ildə hər domenin ana səhifəsini, robots.txt və llms.txt fayllarını AISeeWhy-ın öz user agent-i ilə bir dəfə yüklədik. Hər robots.txt faylını ana səhifə (/) və 16 AI və axtarış crawleri üçün RFC 9309 üzrə qiymətləndirdik.

10 000 domendən 6 192-si robots.txt təqdim etdi (HTML səhifə olmayan uğurlu cavab). 1 121 domen 4xx cavabı verdi, bu isə qaydaların olmaması və bütün crawlerlərə icazə verilməsi deməkdir, 2 687 domen isə fayl təqdim etmədi (HTTPS saytın olmaması, xətalar, timeout və ya əvəzinə HTML səhifə). Aşağıdakı bütün faizlər 6 192-yə nisbətindədir. Siyahıya vebsayt təqdim etməyən CDN və API-lər də daxildir.

Nə tapdıq?

Hansı crawlerlər ən çox bloklanır?

robots.txt faylı ana səhifəni crawler üçün qadağan edən 6 192 domenin payı:

Böyük saytlar daha çox bloklayırmı?

Bəli, həm də təlimlə axtarışı daha tez-tez qarışdırırlar. Siyahını sıraya görə böldük:

Seçici yol hər ölçüdə nadirdir: üç qrupda domenlərin 10,5%-i, 10,4%-i və 11,5%-i.

12 noyabr hesabatımızdan bəri nəsə dəyişibmi?

Eyni siyahı ilə ilk 1 000 domeni yenidən yoxladıq. Nəticə təxminən bir faiz daxilində sabitdir: 28,6% təlimi bloklayır (12 noyabrda 29,9%), 18,6% AI axtarışı bloklayır (19,5%), təlimi bloklayanların 63,1%-i AI axtarışı da bloklayır (63,2%). Məxrəclər bir qədər fərqlidir (indi robots.txt olan 560 domen, o zaman 518), çünki bu dəfə yükləmədən əvvəl domenin əsas host-a yönləndirməsini izləyirik.

Bu sizin robots.txt faylınız üçün nə deməkdir?

Əksər AI şirkətləri təlim və axtarış üçün ayrı crawlerlər təsvir edir və tənzimləmələrin bir-birindən asılı olmadığını bildirir. GPTBot-u qadağan etmək OAI-SearchBot-a toxunmur, ClaudeBot-u qadağan etmək isə Claude-SearchBot-a toxunmur. Təlimdən imtina edib yenə də istinad almaq istəyirsinizsə, təlim token-lərini bloklayın, axtarış və istifadəçi token-lərinə isə icazə verin və hər qrupda şəxsi yolları təkrarlayın, çünki adlandırılmış qrup *-dan miras almır.

Bu rəqəmlər nə dərəcədə etibarlıdır?

Bunlar ana səhifə üçün robots.txt qaydalarıdır, bir parser tərəfindən bir gündə oxunub. Onlar firewall bloklarını ölçmür, halbuki firewall robots.txt-in icazə verdiyi crawleri rədd edə bilər. Hər saytın niyyətini bilmək mümkün deyil, üstəlik Tranco siyahısına vebsayt təqdim etməyən domenlər də daxildir. Axtarış crawlerini bloklayan qayda səhv olduğunu sübut etmir, yalnız çox vaxt fərqi bilmədən verilən seçimi göstərir. Rəqəmləri bu səhifəyə keçidlə sitat gətirə bilərsiniz.

Pulsuz alətlər

Növbəti addımlar

Bu məqalədəki botlar

Tez-tez verilən suallar

Populyar saytların hansı hissəsi AI crawlerləri bloklayır?

Tranco top 10 000 siyahısında robots.txt təqdim edən 6 192 domendən 23,2%-i ən azı bir AI təlim crawlerini, 12,3%-i isə ən azı bir AI axtarış və ya istifadəçi crawlerini bloklayır.

AI təlimini bloklayan saytlar AI axtarışı da bloklayırmı?

Tez-tez. Təlim crawlerini bloklayan saytların 51,6%-i ən azı bir AI axtarış və ya istifadəçi crawlerini də bloklayır, halbuki təchizatçılar onları müstəqil tənzimləmələri olan ayrı crawlerlər kimi təsvir edir.

Ən çox hansı AI crawler bloklanır?

Təlim crawlerləri arasında Bytespider (18,7%) və CCBot (18,5%), sonra GPTBot (17,4%). AI axtarış crawlerləri arasında ən çox PerplexityBot bloklanır, domenlərin 10,4%-də.

Rəqəmlər niyə 1 000 saytlıq hesabatınızdan fərqlənir?

İlk 1 000 domen demək olar ki, eyni faizləri verir (29,9% və 19,5% əvəzinə 28,6% və 18,6%). 10 000 saytlıq rəqəmlər daha aşağıdır, çünki kiçik saytlar daha az bloklayır.

Mənbələr

Digər məqalələr