Ən populyar 10 000 saytın robots.txt faylını oxuduq. AI crawlerlərə münasibət belədir
Tranco top 10 000 siyahısında robots.txt təqdim edən 6 192 domendən 23,2%-i ən azı bir AI təlim crawlerini, 12,3%-i isə ən azı bir AI axtarış və ya istifadəçi crawlerini bloklayır. Təlimi bloklayan saytların 51,6%-i AI axtarışı da bloklayır. Təlimdən imtina edib bütün AI axtarış crawlerlərinə icazə verənlər cəmi 11,2%-dir.
Noyabrda ən populyar 1 000 domenin robots.txt faylını oxumuşduq. Bu dəfə eyni metodla 10 000 domeni oxuduq və saytlar kiçildikcə mənzərənin necə dəyişdiyini də yoxladıq. Əsas nəticə dəyişmir: təlimi bloklamaq və axtarışı bloklamaq iki ayrı qərar olsa da, bir qərar kimi qəbul edilir.
Bu səhifədə
Bunu necə ölçdük?
Tranco siyahısının (siyahı ID-si JZWZY) ilk 10 000 domenini götürdük və 21 noyabr 2026-cı ildə hər domenin ana səhifəsini, robots.txt və llms.txt fayllarını AISeeWhy-ın öz user agent-i ilə bir dəfə yüklədik. Hər robots.txt faylını ana səhifə (/) və 16 AI və axtarış crawleri üçün RFC 9309 üzrə qiymətləndirdik.
10 000 domendən 6 192-si robots.txt təqdim etdi (HTML səhifə olmayan uğurlu cavab). 1 121 domen 4xx cavabı verdi, bu isə qaydaların olmaması və bütün crawlerlərə icazə verilməsi deməkdir, 2 687 domen isə fayl təqdim etmədi (HTTPS saytın olmaması, xətalar, timeout və ya əvəzinə HTML səhifə). Aşağıdakı bütün faizlər 6 192-yə nisbətindədir. Siyahıya vebsayt təqdim etməyən CDN və API-lər də daxildir.
Nə tapdıq?
- Domenlərin 23,2%-i (1 437) ən azı bir AI təlim crawlerini bloklayır.
- 12,3%-i (762) ən azı bir AI axtarış və ya istifadəçi crawlerini bloklayır, yəni səhifələr ondan asılı olan cavablarda istifadə olunmamalı və ya istinad edilməməlidir.
- Təlim crawlerini bloklayan domenlərin 51,6%-i (1 437-dən 742-si) ən azı bir AI axtarış və ya istifadəçi crawlerini də bloklayır.
- Seçici yolu yalnız 11,2% (695) tutur: təlim crawlerlərini bloklayır, bütün AI axtarış və istifadəçi crawlerlərinə isə icazə verir.
- 6,5%-i (401) AI üstünlüklərini
Content-Signalilə bildirir. - Bütün 10 000 domenin 12,4%-i (1 240)
llms.txtdərc edir. - Müqayisə üçün: 2,0%-i (124) ana səhifədə
Googlebot-u bloklayır.
Hansı crawlerlər ən çox bloklanır?
robots.txt faylı ana səhifəni crawler üçün qadağan edən 6 192 domenin payı:
Bytespider18,7%,CCBot18,5%,GPTBot17,4%,ClaudeBot16,5%.Meta-ExternalAgent15,5%,Google-Extended14,9%,Applebot-Extended14,6%.PerplexityBot10,4% ilə ən çox bloklanan AI axtarış crawleridir, ondan sonraOAI-SearchBot7,0% vəClaude-SearchBot7,0% gəlir.- İnsan sual verəndə səhifəni açan crawlerlər:
ChatGPT-User8,9%,Perplexity-User7,7%,Claude-User7,4%.
Böyük saytlar daha çox bloklayırmı?
Bəli, həm də təlimlə axtarışı daha tez-tez qarışdırırlar. Siyahını sıraya görə böldük:
- 1-ci–1 000-ci yerlər (robots.txt olan 560 domen): 28,6% təlimi, 18,6% AI axtarışı bloklayır, təlimi bloklayanların 63,1%-i AI axtarışı da bloklayır.
- 1 001-ci–3 000-ci yerlər (1 256 domen): 23,5%, 13,5% və 55,6%.
- 3 001-ci–10 000-ci yerlər (4 376 domen): 22,4%, 11,2% və 48,6%.
Seçici yol hər ölçüdə nadirdir: üç qrupda domenlərin 10,5%-i, 10,4%-i və 11,5%-i.
12 noyabr hesabatımızdan bəri nəsə dəyişibmi?
Eyni siyahı ilə ilk 1 000 domeni yenidən yoxladıq. Nəticə təxminən bir faiz daxilində sabitdir: 28,6% təlimi bloklayır (12 noyabrda 29,9%), 18,6% AI axtarışı bloklayır (19,5%), təlimi bloklayanların 63,1%-i AI axtarışı da bloklayır (63,2%). Məxrəclər bir qədər fərqlidir (indi robots.txt olan 560 domen, o zaman 518), çünki bu dəfə yükləmədən əvvəl domenin əsas host-a yönləndirməsini izləyirik.
Bu sizin robots.txt faylınız üçün nə deməkdir?
Əksər AI şirkətləri təlim və axtarış üçün ayrı crawlerlər təsvir edir və tənzimləmələrin bir-birindən asılı olmadığını bildirir. GPTBot-u qadağan etmək OAI-SearchBot-a toxunmur, ClaudeBot-u qadağan etmək isə Claude-SearchBot-a toxunmur. Təlimdən imtina edib yenə də istinad almaq istəyirsinizsə, təlim token-lərini bloklayın, axtarış və istifadəçi token-lərinə isə icazə verin və hər qrupda şəxsi yolları təkrarlayın, çünki adlandırılmış qrup *-dan miras almır.
Bu rəqəmlər nə dərəcədə etibarlıdır?
Bunlar ana səhifə üçün robots.txt qaydalarıdır, bir parser tərəfindən bir gündə oxunub. Onlar firewall bloklarını ölçmür, halbuki firewall robots.txt-in icazə verdiyi crawleri rədd edə bilər. Hər saytın niyyətini bilmək mümkün deyil, üstəlik Tranco siyahısına vebsayt təqdim etməyən domenlər də daxildir. Axtarış crawlerini bloklayan qayda səhv olduğunu sübut etmir, yalnız çox vaxt fərqi bilmədən verilən seçimi göstərir. Rəqəmləri bu səhifəyə keçidlə sitat gətirə bilərsiniz.
Növbəti addımlar
- AI botları üçün robots.txt tester və yoxlayıcısı
- llms.txt yoxlayıcısı və validatoru
- Tam hesabat nümunəsinə baxın
- AI botlarının monitorinqi
- Planlar və qiymətlər
Bu məqalədəki botlar
Tez-tez verilən suallar
Populyar saytların hansı hissəsi AI crawlerləri bloklayır?
Tranco top 10 000 siyahısında robots.txt təqdim edən 6 192 domendən 23,2%-i ən azı bir AI təlim crawlerini, 12,3%-i isə ən azı bir AI axtarış və ya istifadəçi crawlerini bloklayır.
AI təlimini bloklayan saytlar AI axtarışı da bloklayırmı?
Tez-tez. Təlim crawlerini bloklayan saytların 51,6%-i ən azı bir AI axtarış və ya istifadəçi crawlerini də bloklayır, halbuki təchizatçılar onları müstəqil tənzimləmələri olan ayrı crawlerlər kimi təsvir edir.
Ən çox hansı AI crawler bloklanır?
Təlim crawlerləri arasında Bytespider (18,7%) və CCBot (18,5%), sonra GPTBot (17,4%). AI axtarış crawlerləri arasında ən çox PerplexityBot bloklanır, domenlərin 10,4%-də.
Rəqəmlər niyə 1 000 saytlıq hesabatınızdan fərqlənir?
İlk 1 000 domen demək olar ki, eyni faizləri verir (29,9% və 19,5% əvəzinə 28,6% və 18,6%). 10 000 saytlıq rəqəmlər daha aşağıdır, çünki kiçik saytlar daha az bloklayır.
Mənbələr
- AISeeWhy: AI Crawler Access Report, 2026-11
- Tranco: tədqiqat yönümlü ən yaxşı saytlar reytinqi
- RFC 9309: Robots Exclusion Protocol
- OpenAI: OpenAI crawlerlərinin icmalı
- Anthropic: Anthropic internetdən məlumat toplayırmı və sayt sahibləri crawleri necə blok edə bilər?
- Perplexity: Perplexity crawlerləri