Saytım niyə birdən AI botlarını bloklamağa başladı?
AI botlarını bloklamağa başlayan saytda demək olar ki, həmişə beş yerdən biri dəyişib: həqiqətən göndərilən robots.txt, Cloudflare-in AI bot siyasətləri kimi CDN ayarı, bot qoruması və ya rate limit, hostinqin defolt ayarı, yaxud indi xəta ilə cavab verən robots.txt. Bugünkü robots.txt-i və bir səhifəni hər bot kimi yükləyin, onları brauzerlə və əvvəl olanla müqayisə edin, bu təbəqələri həmin ardıcıllıqla yoxlayın.
Heç kim AI cavablarından yox olmağa qərar vermir. Bu, mövzu (theme) yeniləməsinin, təhlükəsizlik ayarının, miqrasiyanın və ya provayderdə dəyişmiş defolt ayarın yan təsiri kimi baş verir. Brauzer saytı yenə normal görür, buna görə kimsə ChatGPT və ya Perplexity-dən məhsul barədə soruşub rəqibi görənə qədər dəyişiklik gözdən qaça bilər. Hər təbəqə kənardan və ya loglarınızda yoxlaya biləcəyiniz izlər qoyur.
Bu səhifədə
- Botların aldığı robots.txt dəyişibmi?
- Cloudflare-in 2026 AI bot siyasətləri saytımın icazə verdiklərini dəyişibmi?
- Bot qoruması və ya rate limit botları tuturmu?
- Hostinq provayderim defolt ayarlarını dəyişibmi?
- robots.txt xəta ilə cavab verirmi?
- Bunun nə vaxt başladığını necə öyrənim?
- Növbəti dəfə bunu daha tez necə tuta bilərəm?
Botların aldığı robots.txt dəyişibmi?
https://yourdomain.com/robots.txt faylını yükləyin və onu repozitoriyanızdakı və ya ehtiyat nüsxədəki faylla müqayisə edin. Diskdəki faylı yox, göndərilən faylı yoxlayın, çünki bir neçə təbəqə onu yolda dəyişə bilər:
- Deploy
Disallow: /olan staging robots.txt-ini göndərir və ya miqrasiya platformanın defolt faylını yerində saxlayır. - Sayt konstruktorunun ayarı AI botları üçün qaydalar əlavə edir. Məsələn, Squarespace-də Block known artificial intelligence crawlers seçimi var; o, robots.txt-ə 26 bot adı yazır və zamanla daha çoxunun əlavə oluna biləcəyini bildirir. Defolt olaraq sönülüdür, yəni kimsə onu açmalıdır, amma siyahı sonradan böyüyə bilər.
- SEO və ya təhlükəsizlik plugin-inin yeniləməsi yeni qaydalar yazır və ya kiminsə açdığı yeni seçim əlavə edir.
- Bot Preference Sync açıq olanda və AI siyasəti Block və ya Disallow-a təyin ediləndə Cloudflare idarə etdiyi robots.txt-i faylınızın əvvəlinə əlavə edir. Bu zaman göndərilən fayl
ClaudeBot,GPTBotvə daha altı təlim tokeni üçünDisallow: /ilə başlayır, baxmayaraq ki, öz faylınız dəyişməyib. - Təlim botu üçün nəzərdə tutulmuş qayda digərlərinə, o cümlədən
OAI-SearchBot,Claude-SearchBotvə yaPerplexityBotkimi axtarış botlarına kopyalanıb.
Google Search Console-un robots.txt hesabatı Google-un son 30 gündə yüklədiyi versiyaları göstərir və fayl və ya yükləmə nəticəsi hər dəfə dəyişəndə yeni qeyd olur. O, yalnız Google-un gördüyünü əhatə edir, amma serveriniz robots.txt-i user agent-ə görə dəyişmirsə, AI botları da eyni faylı alıb.
Cloudflare-in 2026 AI bot siyasətləri saytımın icazə verdiklərini dəyişibmi?
Cloudflare AI bot nəzarətlərini bir neçə dəfə dəyişib və bəzi dəyişikliklər heç kim redaktə etmədən zonanın davranışını dəyişir. 1 iyul 2025-də o, yeni domenlərdən qeydiyyat zamanı AI botlarına icazə verib-verməmək barədə soruşmağa başladı və ilkin vəziyyət bloklama idi. 1 iyul 2026-da tək Block AI bots açarını Free daxil olmaqla bütün planlar üçün ayrıca Search, Agent və Training siyasətləri ilə əvəz etdi.
Saytların əksəriyyətini tutan detal çoxməqsədli botlardır. Cloudflare-in sənədləri bildirir ki, Training əməliyyatları həm axtarış, həm də təlim üçün istifadə olunan botlara da aiddir. Onun 2026-cı il iyul elanında deyilirdi ki, 15 sentyabr 2026-dan Training-i bloklamağı seçən müştərilər üçün, istər yeni seçimlərlə, istərsə köhnə Block AI bots ayarı ilə, Googlebot, Applebot və BingBot kimi çoxməqsədli botlar bloklanacaq. Beləliklə, bir il əvvəl təyin edilmiş təlimdən imtina indi axtarış botlarına da təsir edə bilər.
Yeni domenlər üçün defolt ayarlar zamanla fərqli təsvir olunub. Eyni elanda deyilirdi ki, 15 sentyabr 2026-dan yeni domenlərdə reklam göstərən səhifələrdə Training və Agent bloklanacaq, 2 noyabr 2026-da yenilənmiş siyasət sənədləri isə bildirir ki, yeni domenlər hər üç siyasət Allow vəziyyətində başlayır. Security, sonra Settings bölməsini açın, Bot traffic üzrə filtrləyin və öz zonanız üçün AI Crawler and Agent access policies-i oxuyun. Cloudflare AI Crawl Control barədə bələdçimiz hər ayarı izah edir.
Bot qoruması və ya rate limit botları tuturmu?
Bot qoruması hər sorğunu qiymətləndirir, botlar isə data mərkəzlərindən çoxlu səhifəni sürətlə yükləyir, botların etdiyi də məhz budur. Keçən ay keçən bot operatoru IP diapazonlarını və ya skan sürətini dəyişəndən sonra, yaxud qoruma qaydaları yeniləndikdən sonra challenge səhifələri almağa başlaya bilər. Cloudflare-in Bot Fight Mode-u geniş yayılmış səbəbdir və Cloudflare bildirir ki, onu WAF custom rules və ya Page Rules ilə yan keçmək və ya ötürmək mümkün deyil, buna görə o açıq olduqca sonradan əlavə edilmiş icazə qaydası kömək etməyəcək. Sorğu partlayışlarına 429 ilə cavab verən yeni rate limit aktiv bota eyni təsiri göstərir.
Kənardan test edin: səhifəni brauzer kimi və iki AI axtarış botu kimi sorğulayın, sonra robots.txt-i bot kimi sorğulayın.
URL=https://example.com/page
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
"Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"; do
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" "$URL"
done
# robots.txt itself, as a crawler
curl -s -o /dev/null -w "%{http_code} %{content_type}\n" \
-A "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)" \
https://example.com/robots.txt Yalnız bot üçün 403, 429 və ya 503, başlığı Just a moment... olan səhifə, yaxud brauzerinkindən xeyli kiçik body botla fərqli rəftar edildiyini göstərir. Test təchizatçının deyil, sizin IP-nizdən gəlir, buna görə təsdiqlənmiş bot statusuna əsaslanan qaydalar real botla yenə fərqli rəftar edə bilər. Firewall-un hadisələr logu hansı qaydanın cavab verdiyini göstərir.
Hostinq provayderim defolt ayarlarını dəyişibmi?
Bəzi hostinqlər AI trafikini öz qaydalarınız işə düşməzdən əvvəl serverdə filtrləyir. Məsələn, SiteGround 2025-ci ilin avqustunda yazıb ki, təlim məlumatı toplamaq üçün nəzərdə tutulmuş AI botlarını defolt olaraq bloklayır, insan AI assistentindən səhifə barədə soruşanda daxil olan botlara isə icazə verir. Belə qaydalar robots.txt-inizdə görünmür və hostinq bot siyahılarını yeniləyəndə dəyişə bilər.
Blok eyni hostinqdəki bir neçə saytda eyni vaxtda və ya tətbiq loglarınıza heç çatmayan cavablarda görünürsə, hostinqdən hesabınıza hansı bot qaydalarının tətbiq olunduğunu və saxlamaq istədiyiniz botları istisna edə bilib-bilməyəcəyinizi soruşun.
robots.txt xəta ilə cavab verirmi?
İşləməyən robots.txt istənilən Disallow sətrindən çox şeyi bloklaya bilər. RFC 9309-a görə 4xx cavabı botun hər şeyi yükləyə biləcəyi deməkdir, server xətası (5xx) və ya ümumiyyətlə cavabın olmaması isə botun bütün saytı qadağan olunmuş saymalı olduğunu bildirir. Google belə xətaların ilk 12 saatında skanı dayandırır, sonra son düzgün nüsxəsindən 30 günə qədər istifadə edir.
Yük sıçrayışı, /robots.txt-ə challenge göstərən firewall qaydası və ya onu da əhatə edən rate limit bir qayda belə dəyişmədən qaydalara əməl edən botları belə kənarda qoya bilər. Yuxarıdakı testdəki son əmr 200 və text/plain qaytarmalıdır. Orada 5xx, timeout və ya challenge səhifəsi ilk düzəldilməli şeydir.
Bunun nə vaxt başladığını necə öyrənim?
Tarix sirri diff-ə çevirir. Giriş loglarınızda AI bot user agent-lərindən gələn sorğuları filtrləyin və onların status kodlarının 200-dən 403, 429 və ya 503-ə keçdiyi günü, yaxud robots.txt-i oxuduqdan sonra səhifə sorğulamağı dayandırdıqları günü axtarın; server loglarında AI botlarını yoxlamaq barədə bələdçimizdə əmrlər var. CDN-in blokladığı sorğular origin serverə heç vaxt çatmır, buna görə CDN-i də yoxlayın. Cloudflare-də AI Crawl Control zamanla status kodlarının paylanmasını göstərir və onu bot üzrə filtrləyə bilərsiniz.
Sonra həmin tarixi deploy-larla, plugin və mövzu yeniləmələri ilə, CDN ayarlarındakı dəyişikliklərlə və provayder elanları ilə tutuşdurun. Hərəkətə keçməzdən əvvəl mənbə IP-lərinin təchizatçıya aid olduğunu təsdiqləyin ki, onun adından istifadə edən saxtakara deyil, real bota baxdığınıza əmin olasınız.
Növbəti dəfə bunu daha tez necə tuta bilərəm?
Girişi yalnız trafik düşəndə deyil, hər deploy, CDN dəyişikliyi və plugin yeniləməsindən sonra yoxlayın. Pulsuz AISeeWhy yoxlaması səhifəni real brauzerlə yanaşı 16 AI və axtarış botu kimi yükləyir, robots.txt-inizi hər bot üçün tətbiq edir və firewall challenge səhifələrini tanıyır. Pulsuz robots.txt yoxlayıcısı hər bot üçün səhifənin bu gün işləyən fayla görə yüklənə bilib-bilmədiyini göstərir.
Növbəti addımlar
- AI botları üçün robots.txt tester və yoxlayıcısı
- AI botlarının IP yoxlaması
- Tam hesabat nümunəsinə baxın
- AI botlarının monitorinqi
- Planlar və qiymətlər
Bu məqalədəki botlar
Tez-tez verilən suallar
ChatGPT niyə saytımı göstərməyi dayandırdı?
Çox vaxt ona görə ki, ChatGPT axtarışının arxasındakı bot OAI-SearchBot robots.txt dəyişikliyi, CDN siyasəti və ya bot qoruması ilə bloklanıb. OpenAI bildirir ki, onu bloklayan saytlar ChatGPT axtarış cavablarında görünməyəcək. Hər təbəqəni bu bot üçün yoxlayın və robots.txt düzəlişindən sonra təxminən 24 saat gözləyin, OpenAI-ın dediyinə görə sistemlərinin uyğunlaşması bu qədər çəkir.
Cloudflare saytımda Googlebot-u bloklamağa başlayıbmı?
Bu baş verə bilər. Cloudflare bildirib ki, 15 sentyabr 2026-dan Training-i bloklayan müştərilər Googlebot, Applebot və BingBot kimi çoxməqsədli botları da bloklayır. Onun sənədlərinə görə Training Disallow seçimi təlim botlarını edge-də bloklayır, qarışıq istifadəli botları isə kənarda saxlayır, buna görə zonanızın hansı seçimdən istifadə etdiyini yoxlayın.
Sayt konstruktoru və ya plugin robots.txt-i mənim əvəzimə dəyişə bilərmi?
Bəli. Sayt konstruktorları və SEO və ya təhlükəsizlik plugin-ləri robots.txt-ə AI bot qaydaları yaza bilər, bəziləri isə bot siyahılarını zamanla genişləndirir. Hər yeniləmədən sonra işləyən faylı yükləyin və sizin üçün vacib olan axtarış botlarına tətbiq olunan qrupları oxuyun.
İşləyən robots.txt niyə serverimdəki fayldan fərqlidir?
Serverinizin qarşısındakı nəsə onu dəyişir. Məsələn, Cloudflare-in managed robots.txt-i eyni cavabda faylınızın əvvəlinə öz qaydalarını və content signals əlavə edir. robots.txt-i sorğu zamanı yaradan CMS və ya hostinq səviyyəsində ayar da onu əvəz edə və ya genişləndirə bilər.
Düzəltdikdən sonra AI botları nə vaxt qayıdır?
RFC 9309-a görə botlar keşlənmiş robots.txt-dən 24 saatdan artıq istifadə etməməlidir, OpenAI təxminən 24 saat, Perplexity isə 24 saata qədər deyir. Firewall dəyişiklikləri provayderiniz onları tətbiq edən kimi qüvvəyə minir, amma botlar öz cədvəlləri ilə qayıdır.
Mənbələr
- RFC 9309: Robots Exclusion Protocol
- Google: How Google interprets the robots.txt specification
- Google Search Console Help: robots.txt report
- Cloudflare press release: Cloudflare just changed how AI crawlers scrape the internet-at-large
- Cloudflare blog: Your site, your rules: new AI traffic options for all customers
- Cloudflare changelog: AI traffic options (2026-07-01)
- Cloudflare: AI crawler and agent access policies
- Cloudflare: Managed robots.txt
- Cloudflare: Bot Fight Mode
- Cloudflare: Analyze AI traffic (AI Crawl Control)
- Squarespace Help: Request that AI models exclude your site
- SiteGround blog: The pros and cons of AI bot crawling
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers