ChatGPT saytımı görürmü? Necə yoxlamaq olar
Səhifənizi daxil edin və təxminən 30 saniyəyə görün ki, ChatGPT botları ona çata, onu oxuya və ona istinad edə bilir, bilmirlərsə nəyi dəyişmək lazımdır.
Pulsuz · Qeydiyyatsız · Nəticə 30 saniyəyə
robots.txt, bot-bot
OAI-SearchBot, ChatGPT-User və GPTBot RFC 9309 qaydaları ilə ayrı-ayrılıqda oxunur, beləliklə hansına icazə verildiyini və hansı sətrin qərar verdiyini görürsünüz.
Firewall və CDN blokları
Səhifəniz 14 bot kimi və adi brauzer kimi sorğulanır. Yalnız botlara verilən 403, 429 və ya challenge səhifəsi qeyd olunur, arxasındakı firewall isə adı ilə göstərilir.
Bot əslində nə alır
Hər bot üçün status, ölçü və yönləndirmələr brauzerin aldığı ilə müqayisə olunur, beləliklə botlara insanlara verdiyindən azını verən səhifə nəzərə çarpır.
Hər nəticə üçün düzəliş
Hər nəticə ilə birlikdə edilməli dəyişiklik verilir. Pulsuz yoxlama balınızı və ilk nəticəni göstərir; tam hesabat $29-dur, birdəfəlik.
ChatGPT səhifənizə yalnız OpenAI-ın axtarış botu OAI-SearchBot onu yükləyə bilirsə və brauzerin aldığı eyni HTML-i alırsa istinad edə bilər. Üç şeyi yoxlayın: robots.txt OAI-SearchBot-u qadağan etmir, firewall və ya CDN ona 403 və ya challenge səhifəsi ilə cavab vermir, əsas mətn isə ilkin HTML-dədir. Oxuna bilmək tövsiyə edilmək demək deyil: ChatGPT-nin saytınızın adını çəkib-çəkmədiyini görmək üçün ona alıcılarınızın verdiyi sualları verin və hansı saytlara istinad etdiyini qeyd edin.
3 addımda özünüz yoxlayın
- robots.txt-i oxuyun
https://your-site.com/robots.txtünvanını açın.OAI-SearchBot,ChatGPT-Uservə yaUser-agent: *üçün heç bir qrup səhifəni qadağan etməməlidir.GPTBotyalnız təlim üçün əhəmiyyətlidir. - Botun nə aldığını yoxlayın
Səhifəni
OAI-SearchBotkimi sorğulayın və ya pulsuz yoxlamanı işlədin. O, 403 və ya challenge səhifəsi ilə yox, brauzerin aldığı eyni mətnlə 200 cavab verməlidir. - ChatGPT-dən soruşun
Axtarış açıq olduqda ondan URL-inizi xülasə etməsini və alıcılarınızın verdiyi bir suala cavab verməsini xahiş edin, sonra göstərdiyi mənbələrə baxın. Giriş qaydasındadır, amma yenə də siyahıda yoxsunuzsa, səbəb məzmundadır.
Tez-tez verilən suallar
ChatGPT-nin saytımı görüb-görmədiyini pulsuz yoxlaya bilərəmmi?
Bəli. robots.txt-nizi oxumaq, OAI-SearchBot user agent-i ilə curl sorğusu və ChatGPT-də bir sual pulsuzdur. AISeeWhy-ın pulsuz yoxlaması hesabsız, gündə bir səhifə üçün bot testlərini işə salır.
ChatGPT-nin saytımı tövsiyə edib-etmədiyini necə yoxlayım?
Axtarış açıq halda ChatGPT-yə alıcılarınızın verdiyi sualları verin və onun saytınızın adını çəkib-çəkmədiyini və ya ona keçid verib-vermədiyini, əvəzində hansı rəqibləri çəkdiyini qeyd edin. Cavablar hər dəfə dəyişir, buna görə hər sualı təkrarlayın və bir neçə həftə ərzində yenidən yoxlayın. AISeeWhy-ın AI-da görünürlük yoxlaması suallarınızı öz API açarlarınızla ChatGPT, Claude, Perplexity və Gemini vasitəsilə verir və çəkilmələri dörd rəqibə qədər yanında izləyir. API vasitəsilə alınan cavablar ChatGPT tətbiqinin göstərdiyindən fərqlənə bilər.
ChatGPT niyə saytımı tapa bilmir?
Çox vaxt OAI-SearchBot robots.txt-də qadağan edilib, firewall ona 403 və ya challenge səhifəsi ilə cavab verir, yaxud mətn yalnız JavaScript işlədikdən sonra görünür. Hər üçü qaydasındadırsa, səhifəniz suala ChatGPT-nin istinad etdiyi səhifələrdən sadəcə daha az birbaşa cavab verə bilər.
GPTBot-u bloklamaq saytımı ChatGPT axtarışından çıxarırmı?
Xeyr. OpenAI hər bot parametrini müstəqil sayır. GPTBot təlimlə bağlıdır, OAI-SearchBot isə səhifələrin ChatGPT axtarış cavablarında göstərilə bilib-bilməyəcəyini həll edir. Birini qadağan edib digərinə icazə verə bilərsiniz.
ChatGPT-User robots.txt-ə əməl edirmi?
OpenAI bildirir ki, bu ziyarətləri istifadəçi başlatdığı üçün robots.txt qaydaları onlara şamil olunmaya bilər. Bu ziyarətləri dayandırmaq istəyirsinizsə, robots.txt qaydası etibarlı vasitə deyil.
robots.txt dəyişikliyi ChatGPT-yə nə qədər vaxta çatır?
OpenAI bildirir ki, robots.txt yeniləndikdən sonra onun sistemlərinin axtarış üçün uyğunlaşması təxminən 24 saat çəkə bilər.
İstinad olunmaq üçün əlçatan olmaq kifayətdirmi?
Xeyr. Giriş istinadı mümkün edir, lakin zəmanət vermir. Səhifənin cavabda istifadə olunub-olunmayacağını yenə də onun nə dediyi və bunu nə qədər aydın dediyi həll edir.
Tam bələdçini oxuyun
Bir çox sayt sahibi ChatGPT-dən öz məhsulu haqqında soruşur, əvəzində rəqibə istinad gördükdə ChatGPT-nin ümumiyyətlə saytına çata bilib-bilmədiyi ilə maraqlanır. Bu sualın konkret, yoxlanıla bilən cavabı var. OpenAI botlarının adlarını və hər birinin nə etdiyini dərc edir, buna görə zəncirin hər halqasını yoxlaya bilərsiniz: robots.txt qaydaları, serverinizin göndərdiyi cavab və bu cavabdakı məzmun.
5 dəqiqəlik yoxlama, addım-addım
https://your-site.com/robots.txtfaylını açın vəOAI-SearchBot,ChatGPT-Uservə yaUser-agent: *üçün heç bir qrupun səhifəni qadağan etmədiyinə əmin olun.GPTBotyalnız təlim üçün önəmlidir.- AISeeWhy-da səhifənin pulsuz yoxlamasını işə salın və ya
OAI-SearchBotuser agent-i ilə bir sorğu göndərin: o, 403 və ya challenge səhifəsi deyil, 200 statusu və brauzerin aldığı eyni mətni almalıdır. - Səhifənin mənbə kodunu açın və əsas mətnin sonradan JavaScript ilə əlavə olunmadığını, HTML-də olduğunu təsdiqləyin.
- Axtarış açıq halda ChatGPT-dən URL-inizi xülasə etməyi və alıcılarınızın verdiyi bir suala cavab verməyi xahiş edin. Göstərdiyi mənbələrə baxın.
1-ci və ya 2-ci addım uğursuz olarsa, əvvəlcə onu düzəldin: aşağıdakı bölmələr bunu necə etməyi göstərir. Dörd addımın hamısı keçirsə və ChatGPT yenə də sizə istinad etmirsə, səbəb giriş deyil, məzmundur.
ChatGPT cavabları üçün hansı OpenAI botları vacibdir?
OpenAI sayt sahiblərinin adətən rastlaşdığı üç agenti sənədləşdirir. Onların vəzifələri fərqlidir və birini bloklamaq digərlərini bloklamır. OpenAI bildirir ki, hər robots.txt parametri müstəqildir.
OAI-SearchBotChatGPT-nin axtarış funksiyaları üçün səhifələri tapır və indeksləyir. OpenAI bildirir ki, ondan imtina edən saytlar ChatGPT axtarış cavablarında göstərilməyəcək. Sizə istinad edilib-edilməyəcəyini həll edən məhz budur.GPTBotOpenAI-ın əsas modellərini öyrətmək üçün istifadə oluna biləcək məzmunu toplayır. Onu qadağan etmək məzmununuzun təlim üçün istifadə olunmamalı olduğunu bildirir. Bu, sizi axtarış cavablarından çıxarmır.ChatGPT-Userkimsə ChatGPT-dən bunu istəyəndə, məsələn keçid yapışdıranda səhifəyə daxil olur. OpenAI bildirir ki, robots.txt qaydaları istifadəçinin başlatdığı bu ziyarətlərə şamil olunmaya bilər və bu agent məzmunun axtarışda görünüb-görünməyəcəyini müəyyən etmək üçün istifadə olunmur.
Qısaca: OAI-SearchBot istinadları, GPTBot təlimi idarə edir, ChatGPT-User isə istifadəçinin istəyi ilə canlı ziyarətləri icra edir.
robots.txt-i ChatGPT üçün necə yoxlayım?
Brauzerdə https://yourdomain.com/robots.txt ünvanını açın. OAI-SearchBot adını çəkən qrupu axtarın. Belə qrup yoxdursa, bot User-agent: * qrupuna əməl edir. Hansı qrup tətbiq olunursa, oradakı Disallow: / bütün saytı bloklayır.
Faylın ümumiyyətlə cavab verdiyini də yoxlayın. RFC 9309-a görə robots.txt server xətası (5xx) qaytarırsa və ya ona çatmaq mümkün deyilsə, bot bütün saytın qadağan olunduğunu qəbul etməlidir. 404 isə problem deyil: bu, qayda olmaması deməkdir. 200 statusu ilə HTML səhifəsi qaytaran robots.txt ünvanı geniş yayılmış səhvdir, çünki bu halda botlar orada heç bir düzgün qayda tapmır.
ChatGPT axtarışını saxlayan və təlimdən imtina edən nizamlama belə görünür:
User-agent: OAI-SearchBot
Allow: /
User-agent: GPTBot
Disallow: /
User-agent: *
Allow: / OpenAI bildirir ki, robots.txt-i yenilədikdən sonra axtarış üçün dəyişikliklərin qüvvəyə minməsi təxminən 24 saat çəkə bilər.
robots.txt icazə versə belə, firewall ChatGPT-ni bloklaya bilərmi?
Bəli, bu, geniş yayılmış səbəbdir. robots.txt qaydalara əməl edən botlara xahişdir, giriş nəzarəti deyil. Əslində nəyin geri göndərildiyini firewall, CDN və ya bot mühafizəniz həll edir. O, AI botunu arzuolunmaz bot sayırsa, bot 403, 429 və ya Cloudflare-in "Just a moment..." ekranı kimi challenge səhifəsi alır, brauzerdəki insanlar isə səhifəni normal görür.
Kənardan bu, hamıya açıq sayt kimi görünür. Fərqi yalnız özünü bot kimi təqdim edən sorğu göstərir. Belə halda robots.txt "bəli", server isə "xeyr" deyir və qalib server olur.
OAI-SearchBot-un nə aldığını necə test etmək olar?
Eyni URL-ə iki sorğu göndərin, biri brauzer user agent-i, digəri botun user agent-i ilə, sonra status kodunu və ölçünü müqayisə edin. OpenAI hər bot üçün nümunə user agent dərc edir; ondakı versiya nömrəsi dəyişə bilər.
# As a browser
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
-A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
https://example.com/page
# As OAI-SearchBot
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
-A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
https://example.com/page Brauzer böyük həcmli 200 cavabı, bot isə 403, 429, 503 və ya xeyli kiçik cavab alırsa, firewall-unuz bota fərqli yanaşır. Bir məhdudiyyət var: testiniz OpenAI-ın deyil, öz IP ünvanınızdan gəlir. Botları dərc olunmuş IP diapazonları ilə təsdiqləyən firewall-lar (OpenAI onları openai.com/searchbot.json ünvanında göstərir) real botu buraxıb sizin testinizi bloklaya bilər. Bu testdəki blok yenə də firewall-un user agent-ə necə yanaşdığını göstərir və bunu düzəltməyə dəyər.
Səhifə yüklənirsə, amma ChatGPT yenə faydalı heç nə demirsə, nə etməli?
Giriş yalnız ilk addımdır. Gələn HTML sonradan JavaScript ilə doldurulan boş qabıqdırsa, bot demək olar ki, heç bir mətn almaya bilər. Xam HTML-ə curl və ya brauzerinizin view-source funksiyası ilə baxın: əsas mətn orada yoxdursa, bot da çox güman ki, onu görmür.
Bundan sonra məzmun siqnalları gəlir: səhifənin yuxarısında aydın qısa cavab, insanların verdiyi suallara uyğun başlıqlar, adı göstərilən nəşriyyatçı və müəllif, görünən tarixlər. Bunlar istinadı zəmanət etmir, lakin səhifədən düzgün sitat gətirməyi asanlaşdırır.
AISeeWhy bunu necə yoxlayır?
AISeeWhy səhifənizi adi brauzerlə yanaşı OAI-SearchBot, GPTBot, ChatGPT-User və daha 11 bot kimi yükləyir, robots.txt-i RFC 9309 qaydaları ilə oxuyur və blok və ya challenge ilə cavab verən firewall-u adı ilə göstərir. Hər tapıntı yapışdırmağa hazır düzəlişlə gəlir, pulsuz yoxlama isə balınızı və ilk tapıntını göstərir.
Bu problem üçün düzəlişlər
- OAI-SearchBot bloklanıb
- GPTBot boş səhifə alır
- Səhifəni yükləmək mümkün olmadı
- Səhifə 403 statusu ilə cavab verir
Növbəti addımlar
- AI botları üçün robots.txt tester və yoxlayıcısı
- AI botlarının IP yoxlaması
- Tam hesabat nümunəsinə baxın
- AI botlarının monitorinqi
- Planlar və qiymətlər
Bu məqalədəki botlar
Mənbələr
- OpenAI: Overview of OpenAI crawlers
- RFC 9309: Robots Exclusion Protocol
- Cloudflare: Manage AI crawlers (AI Crawl Control)