robots.txt qaydalarını URL və konkret bot üçün necə yoxlamaq olar?
URL-i bir bot üçün yoxlamaq üçün botun tokenini adlandıran qrupu tapın (heç biri adlandırmırsa, User-agent: *), orada URL yoluna uyğun gələn bütün Allow və Disallow qaydalarını toplayın və ən uzununu tətbiq edin; uzunluq bərabərdirsə, Allow qalib gəlir. Bunu əl ilə, Google-un açıq mənbəli parseri ilə və ya hər bot üçün hökm göstərən yoxlayıcı ilə edə bilərsiniz. Search Console-dakı köhnə Google robots.txt Tester artıq yoxdur, onu əvəz edən robots.txt hesabatı isə URL üçün hökm deyil, Google-un nəyi yüklədiyini göstərir.
robots.txt faylı sadə görünür, ta ki dəqiq cavab lazım olana qədər: GPTBot bu səhifəni yükləyə bilərmi, bəs OAI-SearchBot? Cavab botun hansı qrupu seçməsindən və həmin qrupdakı hansı qaydanın qalib gəlməsindən asılıdır və hər iki addımda səhv etmək asandır. Aşağıda RFC 9309 üzrə uyğunlaşmanın necə işlədiyi, dörd işlənmiş nümunə və faylı özünüz yoxlamağın üç yolu var.
Bu səhifədə
- Google Search Console-dakı robots.txt Tester-ə nə oldu?
- Bot URL-ə icazə olub-olmadığına necə qərar verir?
- robots.txt yoxlamasını nümunə üzərində göstərə bilərsinizmi?
- Google-un açıq mənbəli robots.txt parserini necə işə salım?
- robots.txt-i Python-un urllib.robotparser modulu ilə yoxlaya bilərəmmi?
- Niyə robots.txt testi keçir, amma bot yenə bloklanır?
- robots.txt-i bütün AI botları üçün bir dəfəyə necə yoxlayım?
Google Search Console-dakı robots.txt Tester-ə nə oldu?
2023-cü ilin noyabrında Google Search Console-a robots.txt hesabatı əlavə etdi və robots.txt tester-in dayandırılacağını bildirdi. Hesabat Settings bölməsindədir və yalnız Google botlarını əhatə edir. O göstərir:
- Google-un mülkiyyətinizin ən çox istifadə olunan 20 hostu üçün tapdığı robots.txt faylları.
- Hər faylın yüklənmə statusu (
Fetched,Not Fetched - Not found (404)və yaNot Fetched - Any other reason), Google-un onu sonuncu dəfə nə vaxt yoxladığı və baytlarla ölçüsü. - Fayldakı problemlər. Google bildirir ki, xətalar qaydanın istifadəsinə mane olur, xəbərdarlıqlar isə olmur.
- Google-un son 30 gündə yüklədiyi versiyalar və faylı düzəltdikdən sonra yenidən taranma tələb etmək üçün düymə.
Hesabat URL qəbul edib icazəli və ya bloklanmış cavabını qaytarmır. Bir URL-i Googlebot üçün yoxlamaq üçün Google URL Inspection alətinə, lokal yoxlama üçün isə açıq mənbəli robots.txt kitabxanasına yönləndirir. Heç biri GPTBot və ya ClaudeBot kimi AI botları haqqında heç nə demir.
Bot URL-ə icazə olub-olmadığına necə qərar verir?
Uyğunlaşmanı Robots Exclusion Protocol olan RFC 9309 müəyyən edir. Google öz botları üçün eyni davranışı sənədləşdirir.
- Qrupu seçin. User-agent uyğunlaşması böyük-kiçik hərfə həssas deyil. Bir və ya bir neçə qrup botun tokenini adlandırırsa, onların qaydaları birləşdirilir və
User-agent: *qrupu tamamilə nəzərə alınmır. Yalnız adı çəkilən qrupu olmayan bot*-a əməl edir. - Qaydanı seçin. Yolu URL-ə uyğun gələn
AllowvəDisallowqaydaları arasında ən çox simvolu olan qalib gəlir.AllowvəDisalloweyni uzunluqdadırsa,Allowqalib gəlməlidir. - Şablonları oxuyun.
*istənilən simvol ardıcıllığına uyğun gəlir,$isə URL-in sonunu bildirir. Yollar böyük-kiçik hərfə həssasdır, buna görə/Admin//admin/-ə uyğun gəlmir. - Uyğun qayda yoxdursa, icazə var.
/robots.txt-in özü həmişə icazəlidir.
robots.txt-in cavab kodu onun qaydaları qədər vacibdir. 4xx cavabı botun hər şeyi yükləyə biləcəyi deməkdir; Google 429-dan başqa hər 4xx-i fayl yoxmuş kimi qəbul edir. 5xx cavabı botun bütün saytın qadağan olduğunu güman etməli olduğu deməkdir. Google ilk 12 saat taramanı dayandırır, sonra 30 günə qədər sonuncu düzgün surətdən istifadə edir. RFC 9309 botlardan ən azı 500 KiB-ı emal etməyi tələb edir, Google isə 500 KiB-dan sonrakı hər şeyi nəzərə almır.
robots.txt yoxlamasını nümunə üzərində göstərə bilərsinizmi?
Budur, standart qrupu və adı çəkilən iki AI botu olan kiçik robots.txt:
Googlebotvə/search/help/billing: icazəli. Googlebot üçün qrup yoxdur, buna görə*qrupu tətbiq olunur.Disallow: /searchvəAllow: /search/helphər ikisi uyğun gəlir,Allowqaydası isə daha uzundur.GPTBotvə/blog/post: bloklanıb. GPTBot-un öz qrupu var vəDisallow: /hər yola uyğun gəlir.OAI-SearchBotvə/admin/settings: icazəli. OAI-SearchBot-un öz qrupu var, buna görə*qrupundakıDisallow: /admin/ona aid deyil. Bu, ən çox rast gəlinən sürprizdir; ümumi qaydaları adı çəkilən hər qrupda təkrarlayın.OAI-SearchBotvə/files/report.pdf: bloklanıb.Allow: /bir simvolla,Disallow: /*.pdf$yeddi simvolla uyğun gəlir və daha uzun qayda qalib gəlir.
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$ Bərabərlik halları daha nadirdir, amma eyni məntiqə tabedir. Google-un sənədləri /folder/page URL-i üçün allow: /folder və disallow: /folder nümunəsini verir: hər ikisi eyni uzunluqdadır, buna görə URL icazəlidir.
Google-un açıq mənbəli robots.txt parserini necə işə salım?
Google istehsalatda robots.txt qaydalarını uyğunlaşdırmaq üçün istifadə etdiyi C++ kitabxanasını, bir URL-i və bir user agent-i lokal fayla qarşı yoxlamaq üçün kiçik komanda sətri proqramı ilə birlikdə dərc edir. Bazel quraşdırılıbsa:
git clone https://github.com/google/robotstxt.git robotstxt
cd robotstxt/
bazel build :robots_main
# arguments: local robots.txt file, crawler token, full URL
bazel run robots_main -- ~/robots.txt OAI-SearchBot https://example.com/files/report.pdf
# prints ALLOWED or DISALLOWED; exit code 0 means allowed, 1 means disallowed Repozitoriya həmçinin CMake ilə build-i sənədləşdirir, o da eyni arqumentlərlə robots adlı binary yaradır. Alət yalnız parse edir və uyğunlaşdırır; robots.txt-i yükləmir, buna görə əvvəlcə canlı faylı saxlayın. Onun README faylı həmçinin qeyd edir ki, parse və uyğunlaşmadan kənar bota məxsus davranış kitabxanaya daxil deyil.
robots.txt-i Python-un urllib.robotparser modulu ilə yoxlaya bilərəmmi?
Python-un standart kitabxanasında user agent və URL üçün icazəli və ya bloklanmış cavabı verən parser var. Bu skript yuxarıdakı nümunəni yoxlayır:
from urllib.robotparser import RobotFileParser
# Paste the robots.txt you want to test, or fetch it yourself first
ROBOTS_TXT = """
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$
"""
tests = [
("Googlebot", "https://example.com/search/help/billing"),
("GPTBot", "https://example.com/blog/post"),
("OAI-SearchBot", "https://example.com/admin/settings"),
("OAI-SearchBot", "https://example.com/files/report.pdf"),
]
rp = RobotFileParser()
rp.parse(ROBOTS_TXT.splitlines())
for agent, url in tests:
print(f"{agent:15} {url} ->", "allowed" if rp.can_fetch(agent, url) else "blocked") Nəticəyə güvənməzdən əvvəl Python versiyanızı yoxlayın. RFC 9309 üzrə uyğunlaşma dəstəyi CPython-a 2026-cı ildə əlavə edilib və ilk dəfə Python 3.13.14 və 3.14.5-də çıxıb. Köhnə buraxılışlar, o cümlədən bütün 3.12 və daha əvvəlki versiyalar ən uzun qaydanı deyil, faylda ardıcıllıqla birinci uyğun gələn qaydanı tətbiq edir və yollarda * və ya $-ı anlamır. Bu versiyalarda skript birinci və dördüncü testi tərsinə göstərir: Googlebot /search/help/billing-dən bloklanır, OAI-SearchBot-a isə PDF-i yükləməyə icazə verilir.
Daha iki fərq hər versiyaya aiddir. RobotFileParser.read() robots.txt üçün 401 və ya 403 cavabını hər şeyin qadağan olması kimi qəbul edir, RFC 9309 isə 4xx-in hər şeyin yüklənə biləcəyi demək olduğunu bildirir. Həmçinin read() faylı Python-un standart user agent-i ilə yükləyir, bəzi firewall-lar isə onu bloklayır, buna görə test qaydalarınızla əlaqəsi olmayan səbəblərə görə bloklanmış göstərə bilər. Faylı özünüz yükləyib yuxarıdakı kimi parse()-a ötürmək hər ikisinin qarşısını alır.
Niyə robots.txt testi keçir, amma bot yenə bloklanır?
Tester bir suala cavab verir: qaydalar bu URL-ə icazə verirmi? Bir neçə şey bu cavabdan kənarda qalır:
- Canlı fayl yoxladığınızdan fərqlənir və ya bot hələ də keşdəki surətdən istifadə edir. RFC 9309 bildirir ki, botlar keşdəki surətdən 24 saatdan çox istifadə etməməlidir, Google isə ümumiyyətlə 24 saata qədər keşləyir.
- robots.txt URL-i HTML səhifəsi və ya xəta qaytarır. Status 200 olan HTML səhifəsində etibarlı qayda yoxdur, 5xx cavabı isə bütün saytı bloklayır.
- robots.txt girişə nəzarət deyil, xahişdir. Firewall, CDN və ya bot qoruması bota yenə də 403 və ya challenge səhifəsi ilə cavab verə bilər.
robots.txt-i bütün AI botları üçün bir dəfəyə necə yoxlayım?
Pulsuz AISeeWhy robots.txt yoxlayıcısı səhifə ünvanını və ya yapışdırılmış robots.txt-i qəbul edir və hər AI və axtarış botu üçün həmin səhifənin yüklənə bilib-bilmədiyini göstərir. Pulsuz robots.txt generatoru seçimlərinizə əsasən fayl yazır, pulsuz yoxlama isə robots.txt-in icazə verdiyini firewall-un bloklayıb-bloklamadığını göstərmək üçün səhifəni 16 bot kimi yükləyir.
Bu problem üçün düzəlişlər
- robots.txt GPTBot botuna icazə verir, lakin server onu bloklayır
- robots.txt OAI-SearchBot botuna qadağa qoyur
- robots.txt HTML səhifədir
- robots.txt yüklənə bilmir
Növbəti addımlar
- AI botları üçün robots.txt tester və yoxlayıcısı
- Tam hesabat nümunəsinə baxın
- AI botlarının monitorinqi
- Planlar və qiymətlər
Bu məqalədəki botlar
Tez-tez verilən suallar
Google Search Console-da hələ də robots.txt tester varmı?
Xeyr. Google onu 2023-cü ilin noyabrında robots.txt hesabatı ilə əvəz etdi; hesabat Google-un yüklədiyi faylları, onların statusunu və xətaları göstərir. Googlebot-un konkret URL-i taraya bilib-bilmədiyini yoxlamaq üçün URL Inspection alətindən istifadə edin.
robots.txt-də Allow Disallow-u üstələyirmi?
Yalnız Allow qaydası daha uzun və ya tam eyni uzunluqda olduqda. Növündən asılı olmayaraq ən uzun uyğun yolu olan qayda qalib gəlir, bərabərlikdə isə Allow qalib gəlir.
robots.txt böyük-kiçik hərfə həssasdırmı?
Qismən. User-agent dəyəri hərf ölçüsünə baxılmadan uyğunlaşdırılır, buna görə gptbot və GPTBot eyni qrupu adlandırır. Yollar böyük-kiçik hərfə həssasdır, buna görə Disallow: /Private/ /private/-i bloklamır.
robots.txt validatoru nəyi yoxlayır?
Validator faylın əlçatan olduğunu, mətn kimi təqdim edildiyini və düzgün sintaksislə yazıldığını yoxlayır. Tester daha irəli gedir və konkret URL və bot üçün hökm verir. Adətən hər ikisi lazımdır, çünki düzgün fayl da icazə vermək istədiyiniz səhifəni bloklaya bilər.
Botun öz qrupu varsa, o yenə User-agent: * qaydalarına əməl edirmi?
Xeyr. Adı çəkilən qrup həmin bot üçün * qrupunu tamamilə əvəz edir. Hamıya aid olmasını istədiyiniz hər qaydanı adı çəkilən hər qrupda təkrarlamalısınız.
Mənbələr
- Google Search Console Help: robots.txt report
- Search Engine Roundtable: New Google Search Console robots.txt report replaced robots.txt tester tool
- Google Search Central: How Google interprets the robots.txt specification
- Google Search Central: Create and submit a robots.txt file
- RFC 9309: Robots Exclusion Protocol
- GitHub: google/robotstxt
- Python documentation: urllib.robotparser
- CPython source: Lib/urllib/robotparser.py