Saytın AI botlarını bloklayıb-bloklamadığını necə yoxlamaq olar
Hər hansı ünvanı daxil edin və görün ki, o, GPTBot, ClaudeBot, PerplexityBot və digər AI botlarını bloklayır: robots.txt-də, firewall-da, yoxsa hər ikisində.
Pulsuz · Qeydiyyatsız · Nəticə 30 saniyəyə
Hansı botlar bloklanıb
Təlim, axtarış və istifadəçi botları ayrıca göstərilir, çünki GPTBot-u bloklamaq OAI-SearchBot-u bloklamır, ClaudeBot-u bloklamaq da Claude-SearchBot-u bloklamır.
Qərar verən sətir
Hər bot üçün robots.txt RFC 9309 qaydaları ilə oxunur: botun adı çəkilən qrup və ya ehtiyat variant kimi User-agent: * qrupu, həmçinin üstün gələn qayda.
Firewall rədləri
Səhifə 14 bot kimi və adi brauzer kimi sorğulanır. Bloklar və challenge səhifələri qeyd olunur, cavab verən firewall isə adı ilə göstərilir.
Hər nəticə üçün düzəliş
Hər nəticə ilə birlikdə edilməli dəyişiklik verilir. Pulsuz yoxlama balınızı və ilk nəticəni göstərir; tam hesabat $29-dur, birdəfəlik.
Sayt AI botlarını iki yerdə bloklaya bilər: botlardan uzaq durmağı xahiş edən robots.txt-də və onları həqiqətən rədd edən server və ya firewall-da. robots.txt-də hər botun tokenini axtarın, tapılmasa User-agent: * qrupuna baxın, sonra səhifəni bot kimi yükləyin və brauzerin aldığı ilə müqayisə edin. Brauzer genişlənməsi robots.txt hissəsini 16 AI botu üçün bir kliklə edir.
3 addımda əl ilə yoxlayın
- Botu seçin
Hər AI şirkəti ayrı botlar işlədir. Təlim:
GPTBot,ClaudeBot. Axtarış:OAI-SearchBot,Claude-SearchBot,PerplexityBot. İnsanın xahişi ilə:ChatGPT-User,Claude-User,Perplexity-User. - Bot üçün robots.txt-i oxuyun
https://example.com/robots.txtünvanını açın və botun adı çəkilən qrupu tapın. Heç bir qrup yoxdursa,User-agent: *qrupu tətbiq olunur; ikisi də yoxdursa, hər şeyə icazə verilir. - Səhifəni bot kimi yükləyin
Səhifəni botun user agent-i ilə sorğulayın və status və ölçünü brauzerinkilərlə müqayisə edin. 403, challenge səhifəsi və ya xeyli kiçik 200 firewall-un onu rədd etdiyini göstərir.
Tez-tez verilən suallar
robots.txt-i olmayan sayt AI botları üçün açıqdırmı?
Bəli, robots.txt baxımından. robots.txt üçün 404 qaydaların olmadığı deməkdir, yəni hər bot hər səhifəni yükləyə bilər. Firewall isə yenə də botları bloklaya bilər.
Genişlənmə firewall bloklarını göstərirmi?
Xeyr. O, robots.txt-i brauzerinizdən oxuyur və bu, saytın botlardan nə xahiş etdiyini göstərir. Firewall və bot mühafizəsi bloklarını görmək üçün bot adından göndərilmiş sorğu lazımdır, bunu isə aiseewhy.com-dakı tam yoxlama edir.
Mənə aid olmayan saytı yoxlaya bilərəmmi?
Bəli. robots.txt açıqdır və genişlənmə yalnız saytın dərc etdiyi robots.txt və llms.txt fayllarını oxuyur, yəni hər botun oxuduğu eyni faylları.
Tam bələdçini oxuyun
İstər dəyişiklikdən sonra öz saytınızı yoxlayın, istərsə də başqasının saytına etibar etməzdən əvvəl ona baxın, “bu sayt AI botlarını bloklayırmı?” sualının dəqiq cavabı var. Cavab hansı botu nəzərdə tutduğunuzdan asılıdır, çünki AI şirkətləri təlim, axtarış və canlı ziyarətlər üçün ayrı botlar işlədir və sayt hər birinə fərqli yanaşa bilər. Bu bələdçi ən sürətlisindən ən tamına qədər üç yoxlamanı göstərir.
Sayt AI botlarını harada bloklaya bilər?
Üç qat var və bot səhifədən istifadə etmək üçün hamısından keçməlidir.
- robots.txt: qaydalara əməl edən botların nəyisə yükləməzdən əvvəl oxuduğu açıq qaydalar faylı. Bu, kilid deyil, xahişdir.
- Server, CDN və ya firewall: əslində nəyin geri göndəriləcəyinə o qərar verir. Bot mühafizəsi qaydası robots.txt icazə versə belə, bota 403, 429 və ya challenge səhifəsi ilə cavab verə bilər.
- Səhifənin özü: əsas mətn yalnız JavaScript işlədikdən sonra görünürsə, ilkin HTML-i oxuyan bot demək olar ki, boş səhifə alır, halbuki onu heç nə bloklamayıb.
Sürətli yoxlamaların əksəriyyəti yalnız birinci qata baxır. Digər ikisini yadda saxlasanız, bu yaxşı başlanğıcdır.
Bir AI botu üçün robots.txt-i necə oxumaq olar?
Brauzerdə https://example.com/robots.txt ünvanını açın və bota aid olan qrupu tapın. Qrup bir və ya bir neçə User-agent sətri ilə başlayır. Bot öz tokenini, məsələn GPTBot-u adı ilə çəkən qrupdan istifadə edir; uyğunlaşdırma böyük-kiçik hərfə həssas deyil. Onu adı ilə çəkən qrup yoxdursa, User-agent: * qrupundan istifadə edir. Heç biri yoxdursa, hər şeyə icazə verilir.
Qrupun içində ən uzun uyğun yolu olan qayda qalib gəlir, Allow və Disallow eyni uzunluqda olduqda isə Allow qalib gəlir. Beləliklə, aşağıdakı fayl GPTBot-u bütün saytdan bloklayır, digər bütün botları isə buraxır:
User-agent: GPTBot
Disallow: /
User-agent: *
Allow: / Faylın necə cavab verdiyinə də baxın. RFC 9309-a görə 404 qaydaların olmadığı, yəni hər şeyə icazə verildiyi deməkdir. Server xətası (5xx) və ya ümumiyyətlə cavabın olmaması o deməkdir ki, bot bütün saytı qadağan olunmuş saymalıdır. HTML səhifəsi qaytaran robots.txt ünvanı geniş yayılmış səhvdir: botlar onda heç bir düzgün qayda tapmır.
Bütün AI botlarını eyni anda necə yoxlamaq olar?
Birdən çox bot sizin üçün vacib olanda faylı əl ilə oxumaq yavaşlayır. Hər AI şirkəti fərqli vəzifələri olan bir neçə bot işlədir:
- Təlim botları model təlimi üçün məzmun toplayır:
GPTBot,ClaudeBot,CCBot,Bytespider,meta-externalagent, həmçinin yalnız robots.txt-də görünənGoogle-ExtendedvəApplebot-Extendedtokenləri. - Axtarış botları səhifələri indeksləyir ki, AI cavabları onlara istinad edə bilsin:
OAI-SearchBot,Claude-SearchBot,PerplexityBot. - İstifadəçi botları insan köməkçidən xahiş edəndə səhifəni yükləyir:
ChatGPT-User,Claude-User,Perplexity-User.
Chrome üçün pulsuz AI bot yoxlayıcısı genişlənməsi bunu bir kliklə edir. İstənilən səhifəni açın, ikonaya klikləyin: o, həmin saytın robots.txt faylını oxuyur və 16 botun hər biri üçün səhifəyə icazə olub-olmadığını və bunu hansı sətrin həll etdiyini göstərir. O, həmçinin Content-Signal üstünlüklərini, saytda llms.txt olub-olmadığını və robots.txt-də göstərilən sayt xəritələrini göstərir. Brauzerinizdə işləyir, hesab tələb etmir və yalnız üzərində kliklədiyiniz saytı oxuyur.
Chrome olmadan aiseewhy.com-dakı pulsuz robots.txt yoxlayıcısı yapışdırdığınız URL üçün eyni cavabı verir.
Firewall-un onları buraxıb-buraxmadığını necə yoxlamaq olar?
robots.txt saytın nə xahiş etdiyini göstərir. Botun əslində nə aldığını görmək üçün səhifəni iki dəfə sorğulayın, bir dəfə brauzer kimi, bir dəfə də botun user agent-i ilə, sonra status kodunu və cavabın ölçüsünü müqayisə edin:
# As a browser
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
-A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
https://example.com/page
# As OAI-SearchBot
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
-A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
https://example.com/page Brauzer 200 alırsa, bot isə 403, 429 və ya 503, yaxud xeyli kiçik səhifə alırsa, firewall və ya bot mühafizəsi bota fərqli yanaşır. Hər xarici testin bir məhdudiyyəti var: sorğu AI şirkətinin şəbəkəsindən deyil, sizin şəbəkənizdən gəlir. Botlara dərc olunmuş IP ünvanlarına görə etibar edən firewall əsl bota fərqli yanaşa bilər, ona görə də son sözü server loqlarınız deyir.
aiseewhy.com-dakı tam yoxlama səhifəni real brauzerlə yanaşı bütün 16 bot kimi yükləyir, botu bloklayan firewall-u və ya qaydanı adlandırır və hər birinin aldığı mətni müqayisə edir.
Hansı nəticəyə çalışmalıyam?
Bu, nə istədiyinizdən asılıdır. ChatGPT axtarışında, Claude-da və Perplexity-də istinad olunmaq istəyirsinizsə, axtarış və istifadəçi botlarına robots.txt-də icazə verilməli və onlar serverdən əsl səhifəni almalıdır. Məzmununuzun təlimdə istifadə olunmasını istəmirsinizsə, yalnız təlim tokenlərini bloklayın. Bunlar ayrı seçimlərdir: GPTBot-u bloklamaq OAI-SearchBot-u bloklamır, ClaudeBot-u bloklamaq da Claude-SearchBot-u bloklamır.
Bir çox sayt bunları qarışdırır. Ən populyar 1000 domen üzrə 2026-cı ilin noyabr hesabatımızda təlim botunu bloklayan saytların 63%-i ən azı bir AI axtarış və ya istifadəçi botunu da bloklayır və bu, onların səhifələrini həmin AI cavablarından kənarda saxlayır.
Növbəti addımlar
- AI botları üçün robots.txt tester və yoxlayıcısı
- llms.txt yoxlayıcısı və validatoru
- Tam hesabat nümunəsinə baxın
- AI botlarının monitorinqi
- Planlar və qiymətlər
Bu məqalədəki botlar
Mənbələr
- RFC 9309: Robots Exclusion Protocol
- OpenAI: Overview of OpenAI crawlers
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Perplexity: Perplexity crawlers
- Google: Common crawlers, including Google-Extended
- AISeeWhy: AI Crawler Access Report, 2026-11