Biznes saytlarının on üçdən dördü AI kroulerlərini geri çevirir
ABŞ, Britaniya və Fransadakı 165 biznes saytının auditində saytların 38%-i serverdə ən azı bir AI krouleri geri çevirdi, bu demək olar ki, həmişə təlim və ya skreyper botu idi. Saytların təxminən onda biri isə PerplexityBot və ya OAI-SearchBot kimi AI axtarış krouleri də rədd etdi. Məhz bu krouler istinada gətirib çıxara bilər. Saytınızı hər krouler üçün bir sorğu ilə yoxlayın.
ChatGPT-dən öz məhsulunuz barədə soruşursunuz, o isə rəqibi, bir rəy saytını və forum mövzusunu göstərir. Bəzən bu, məzmun məsələsidir. Çox vaxt isə firewall AI krouldərinə "yox" cavabı verir və komandanızdan heç kim bunu görmür, çünki sayt brauzerdə işləyir.
Bu səhifədə
Nəyi test etdik?
Eyni ünvandan bir səhifəni bir neçə dəfə sorğulayırıq: bir dəfə adi brauzer kimi, bir dəfə də hər biri ayrıca olmaqla 14 AI və axtarış krouleri kimi. Bunların arasında OpenAI-ın GPTBot, OAI-SearchBot və ChatGPT-User, Anthropic-in ClaudeBot və Claude-SearchBot, Perplexity-nin PerplexityBot krouleri var. Brauzer səhifəni alırsa, krouler isə 401, 403, 406, 429, 451, 503 və ya yoxlama səhifəsi alırsa, sayt həmin krouleri geri çevirir.
Nümunə ABŞ, Britaniya və Fransada 218 biznes saytından ibarətdir və audit 18-21 noyabr 2026 tarixlərində aparılıb. Tam testi 165 saytda apara bildik. Qalan 53 sayt hətta adi brauzer sorğumuzu da rədd etdi və ya cavab vermədi, ona görə onları təxmin etmək əvəzinə kənarda saxladıq.
Nə tapdıq?
- Test edilə bilən saytların 38%-i (165-dən 63-ü) ən azı bir AI krouleri geri çevirdi.
- Bu saytların hamısı ən azı bir təlim və ya skreyper krouleri rədd etdi.
Bytespidersaytların 35%-i,ClaudeBot13%-i,GPTBotisə 11%-i tərəfindən rədd edildi. - Saytların 10%-i (16) ən azı bir AI axtarış krouleri də rədd etdi, 5%-i (8) isə istifadəçi köməkçidən soruşanda səhifəni canlı açan krouleri rədd etdi.
- Ən vacib axtarış krouleri
PerplexityBot(11 sayt) vəOAI-SearchBot(5 sayt) oldu. - Test etdiyimiz krouldərdən hər hansı birini rədd edən 66 saytdan 32-nin arxasında Cloudflare dururdu. Daha 30 saytda hansı firewall-un cavab verdiyini müəyyən edə bilmədik.
Bu niyə baş verir və nə vaxt seçimdir?
Bunun böyük hissəsi yəqin ki, qəsdəndir. Bir çox sahib məzmununun modellərin təlimində istifadə olunmasını istəmir, skreyperləri bloklayan bot müdafiəsi ayarlarını isə qoşmaq asandır. Bu, məqbul seçimdir.
Problem ondadır ki, AI şirkətləri təlim və axtarış üçün ayrı krouler işlədir. Təlim krouleri bloklamaq üçün axtarış krouleri bloklamaq lazım deyil, cavabda səhifənizə istinad edilməsinə isə məhz axtarış krouleri gətirib çıxara bilər.
Ən böyük saytlar daha yaxşıdır?
Əslində yox. Ən populyar 1000 domen üzrə robots.txt hesabatımızda robots.txt faylı olan saytların 29,9%-i ən azı bir AI təlim krouleri bloklayır, bunların 63,2%-i isə eyni zamanda ən azı bir AI axtarış və ya istifadəçi krouleri də bloklayır. Təlimi bloklayıb bütün AI axtarış krouldərinə icazə verənlər yalnız 11,0%-dir, halbuki çoxu yəqin ki, məhz bunu istəyirdi.
Öz saytımı on dəqiqəyə necə yoxlayım?
yoursite.com/robots.txtfaylını açın. Maraqlandığınız hər AI krouleri üçün qrupun onu adı ilə çəkib-çəkmədiyinə və nə dediyinə baxın. Krouleri adı ilə çəkən qrup ümumi*qrupunu tamamilə əvəz edir.- Faylın dediyini yox, serverin etdiyini yoxlayın. Əsas səhifənizi brauzer kimi və krouler kimi sorğulayın. 403, 429,
Just a moment...başlıqlı səhifə və ya brauzerin cavabından xeyli kiçik cavab firewall blokunun əlamətidir. - Köməkçidən soruşun. Axtarış qoşulu halda ChatGPT-dən və ya Perplexity-dən alıcılarınızın verdiyi sualları verin və hansı saytlara istinad etdiyinə baxın. Giriş qaydasındadırsa və yenə də siz yoxsunuzsa, problem girişdə yox, məzmundadır.
Bu rəqəmlər nə dərəcədə etibarlıdır?
Onlara siyahıyaalma kimi yox, tendensiya kimi yanaşın. Nümunə təsadüfi deyil: bunlar reklam kitabxanaları, iş elanı saytları və xəritə siyahıları vasitəsilə tapılmış şirkətlərdir. Biz bir ünvandan user agent üzrə test edirik, real krouler isə təchizatçıların dərc etdiyi ünvanlardan gəlir, ona görə bəzi firewall-lar real krouleri fərqli qarşılayar. Üstəlik blok həmişə səhv deyil.
Növbəti addımlar
- AI botları üçün robots.txt tester və yoxlayıcısı
- Tam hesabat nümunəsinə baxın
- AI botlarının monitorinqi
- Planlar və qiymətlər
Bu məqalədəki botlar
Tez-tez verilən suallar
Saytların neçə faizi AI krouldərini bloklayır?
165 test edilə bilən biznes saytının auditində saytların 38%-i serverdə ən azı bir AI krouleri geri çevirdi, əsasən təlim və skreyper botlarını. Təxminən 10%-i AI axtarış krouleri də rədd etdi.
GPTBot-u bloklamaq saytımı ChatGPT axtarışından kənarda saxlayır?
Xeyr. OpenAI bildirir ki, krouldəri üçün hər robots.txt ayarı müstəqildir: GPTBot təlimə, OAI-SearchBot isə ChatGPT axtarışına aiddir. Birini bloklamaq digərini bloklamır.
Sayt robots.txt olmadan krouleri necə blokaya bilər?
Firewall, CDN və ya bot müdafiəsi qaydası krouleri 403, 429 və ya yoxlama səhifəsi ilə qarşılaya bilər. robots.txt bunu heç vaxt göstərmir, ona görə səhifəni krouler kimi sorğulayaraq test etmək lazımdır.
Krouleri geri çevirmək həmişə səhvdir?
Xeyr. Bir çox sahib təlim krouldərini və skreyperləri kənarda saxlamaq istəyir. Səhv axtarış krouldərini təsadüfən bloklamaqdır, çünki səhifənizə istinad edə biləcək məhz onlardır.
Mənbələr
- AISeeWhy: AI Krouler Giriş Hesabatı, 2026-11
- RFC 9309: Robot İstisna Protokolu
- OpenAI: OpenAI krouldərinə icmal
- Perplexity: Perplexity krouldəri
- Cloudflare: AI krouldərini idarə etmək (AI Crawl Control)