robots.txt qaydalarını URL və konkret bot üçün necə yoxlamaq olar?

Dərc olunub

Qısa cavab

URL-i bir bot üçün yoxlamaq üçün botun tokenini adlandıran qrupu tapın (heç biri adlandırmırsa, User-agent: *), orada URL yoluna uyğun gələn bütün Allow və Disallow qaydalarını toplayın və ən uzununu tətbiq edin; uzunluq bərabərdirsə, Allow qalib gəlir. Bunu əl ilə, Google-un açıq mənbəli parseri ilə və ya hər bot üçün hökm göstərən yoxlayıcı ilə edə bilərsiniz. Search Console-dakı köhnə Google robots.txt Tester artıq yoxdur, onu əvəz edən robots.txt hesabatı isə URL üçün hökm deyil, Google-un nəyi yüklədiyini göstərir.

robots.txt faylı sadə görünür, ta ki dəqiq cavab lazım olana qədər: GPTBot bu səhifəni yükləyə bilərmi, bəs OAI-SearchBot? Cavab botun hansı qrupu seçməsindən və həmin qrupdakı hansı qaydanın qalib gəlməsindən asılıdır və hər iki addımda səhv etmək asandır. Aşağıda RFC 9309 üzrə uyğunlaşmanın necə işlədiyi, dörd işlənmiş nümunə və faylı özünüz yoxlamağın üç yolu var.

Bu səhifədə
  1. Google Search Console-dakı robots.txt Tester-ə nə oldu?
  2. Bot URL-ə icazə olub-olmadığına necə qərar verir?
  3. robots.txt yoxlamasını nümunə üzərində göstərə bilərsinizmi?
  4. Google-un açıq mənbəli robots.txt parserini necə işə salım?
  5. robots.txt-i Python-un urllib.robotparser modulu ilə yoxlaya bilərəmmi?
  6. Niyə robots.txt testi keçir, amma bot yenə bloklanır?
  7. robots.txt-i bütün AI botları üçün bir dəfəyə necə yoxlayım?

Google Search Console-dakı robots.txt Tester-ə nə oldu?

2023-cü ilin noyabrında Google Search Console-a robots.txt hesabatı əlavə etdi və robots.txt tester-in dayandırılacağını bildirdi. Hesabat Settings bölməsindədir və yalnız Google botlarını əhatə edir. O göstərir:

Hesabat URL qəbul edib icazəli və ya bloklanmış cavabını qaytarmır. Bir URL-i Googlebot üçün yoxlamaq üçün Google URL Inspection alətinə, lokal yoxlama üçün isə açıq mənbəli robots.txt kitabxanasına yönləndirir. Heç biri GPTBot və ya ClaudeBot kimi AI botları haqqında heç nə demir.

Bot URL-ə icazə olub-olmadığına necə qərar verir?

Uyğunlaşmanı Robots Exclusion Protocol olan RFC 9309 müəyyən edir. Google öz botları üçün eyni davranışı sənədləşdirir.

robots.txt-in cavab kodu onun qaydaları qədər vacibdir. 4xx cavabı botun hər şeyi yükləyə biləcəyi deməkdir; Google 429-dan başqa hər 4xx-i fayl yoxmuş kimi qəbul edir. 5xx cavabı botun bütün saytın qadağan olduğunu güman etməli olduğu deməkdir. Google ilk 12 saat taramanı dayandırır, sonra 30 günə qədər sonuncu düzgün surətdən istifadə edir. RFC 9309 botlardan ən azı 500 KiB-ı emal etməyi tələb edir, Google isə 500 KiB-dan sonrakı hər şeyi nəzərə almır.

robots.txt yoxlamasını nümunə üzərində göstərə bilərsinizmi?

Budur, standart qrupu və adı çəkilən iki AI botu olan kiçik robots.txt:

User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$

Bərabərlik halları daha nadirdir, amma eyni məntiqə tabedir. Google-un sənədləri /folder/page URL-i üçün allow: /folder və disallow: /folder nümunəsini verir: hər ikisi eyni uzunluqdadır, buna görə URL icazəlidir.

Google-un açıq mənbəli robots.txt parserini necə işə salım?

Google istehsalatda robots.txt qaydalarını uyğunlaşdırmaq üçün istifadə etdiyi C++ kitabxanasını, bir URL-i və bir user agent-i lokal fayla qarşı yoxlamaq üçün kiçik komanda sətri proqramı ilə birlikdə dərc edir. Bazel quraşdırılıbsa:

git clone https://github.com/google/robotstxt.git robotstxt
cd robotstxt/
bazel build :robots_main
# arguments: local robots.txt file, crawler token, full URL
bazel run robots_main -- ~/robots.txt OAI-SearchBot https://example.com/files/report.pdf
# prints ALLOWED or DISALLOWED; exit code 0 means allowed, 1 means disallowed

Repozitoriya həmçinin CMake ilə build-i sənədləşdirir, o da eyni arqumentlərlə robots adlı binary yaradır. Alət yalnız parse edir və uyğunlaşdırır; robots.txt-i yükləmir, buna görə əvvəlcə canlı faylı saxlayın. Onun README faylı həmçinin qeyd edir ki, parse və uyğunlaşmadan kənar bota məxsus davranış kitabxanaya daxil deyil.

robots.txt-i Python-un urllib.robotparser modulu ilə yoxlaya bilərəmmi?

Python-un standart kitabxanasında user agent və URL üçün icazəli və ya bloklanmış cavabı verən parser var. Bu skript yuxarıdakı nümunəni yoxlayır:

from urllib.robotparser import RobotFileParser

# Paste the robots.txt you want to test, or fetch it yourself first
ROBOTS_TXT = """
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$
"""

tests = [
    ("Googlebot", "https://example.com/search/help/billing"),
    ("GPTBot", "https://example.com/blog/post"),
    ("OAI-SearchBot", "https://example.com/admin/settings"),
    ("OAI-SearchBot", "https://example.com/files/report.pdf"),
]

rp = RobotFileParser()
rp.parse(ROBOTS_TXT.splitlines())
for agent, url in tests:
    print(f"{agent:15} {url}  ->", "allowed" if rp.can_fetch(agent, url) else "blocked")

Nəticəyə güvənməzdən əvvəl Python versiyanızı yoxlayın. RFC 9309 üzrə uyğunlaşma dəstəyi CPython-a 2026-cı ildə əlavə edilib və ilk dəfə Python 3.13.14 və 3.14.5-də çıxıb. Köhnə buraxılışlar, o cümlədən bütün 3.12 və daha əvvəlki versiyalar ən uzun qaydanı deyil, faylda ardıcıllıqla birinci uyğun gələn qaydanı tətbiq edir və yollarda * və ya $-ı anlamır. Bu versiyalarda skript birinci və dördüncü testi tərsinə göstərir: Googlebot /search/help/billing-dən bloklanır, OAI-SearchBot-a isə PDF-i yükləməyə icazə verilir.

Daha iki fərq hər versiyaya aiddir. RobotFileParser.read() robots.txt üçün 401 və ya 403 cavabını hər şeyin qadağan olması kimi qəbul edir, RFC 9309 isə 4xx-in hər şeyin yüklənə biləcəyi demək olduğunu bildirir. Həmçinin read() faylı Python-un standart user agent-i ilə yükləyir, bəzi firewall-lar isə onu bloklayır, buna görə test qaydalarınızla əlaqəsi olmayan səbəblərə görə bloklanmış göstərə bilər. Faylı özünüz yükləyib yuxarıdakı kimi parse()-a ötürmək hər ikisinin qarşısını alır.

Niyə robots.txt testi keçir, amma bot yenə bloklanır?

Tester bir suala cavab verir: qaydalar bu URL-ə icazə verirmi? Bir neçə şey bu cavabdan kənarda qalır:

robots.txt-i bütün AI botları üçün bir dəfəyə necə yoxlayım?

Pulsuz AISeeWhy robots.txt yoxlayıcısı səhifə ünvanını və ya yapışdırılmış robots.txt-i qəbul edir və hər AI və axtarış botu üçün həmin səhifənin yüklənə bilib-bilmədiyini göstərir. Pulsuz robots.txt generatoru seçimlərinizə əsasən fayl yazır, pulsuz yoxlama isə robots.txt-in icazə verdiyini firewall-un bloklayıb-bloklamadığını göstərmək üçün səhifəni 16 bot kimi yükləyir.

Bu problem üçün düzəlişlər

Pulsuz alətlər

Növbəti addımlar

Bu məqalədəki botlar

Tez-tez verilən suallar

Google Search Console-da hələ də robots.txt tester varmı?

Xeyr. Google onu 2023-cü ilin noyabrında robots.txt hesabatı ilə əvəz etdi; hesabat Google-un yüklədiyi faylları, onların statusunu və xətaları göstərir. Googlebot-un konkret URL-i taraya bilib-bilmədiyini yoxlamaq üçün URL Inspection alətindən istifadə edin.

robots.txt-də Allow Disallow-u üstələyirmi?

Yalnız Allow qaydası daha uzun və ya tam eyni uzunluqda olduqda. Növündən asılı olmayaraq ən uzun uyğun yolu olan qayda qalib gəlir, bərabərlikdə isə Allow qalib gəlir.

robots.txt böyük-kiçik hərfə həssasdırmı?

Qismən. User-agent dəyəri hərf ölçüsünə baxılmadan uyğunlaşdırılır, buna görə gptbot və GPTBot eyni qrupu adlandırır. Yollar böyük-kiçik hərfə həssasdır, buna görə Disallow: /Private/ /private/-i bloklamır.

robots.txt validatoru nəyi yoxlayır?

Validator faylın əlçatan olduğunu, mətn kimi təqdim edildiyini və düzgün sintaksislə yazıldığını yoxlayır. Tester daha irəli gedir və konkret URL və bot üçün hökm verir. Adətən hər ikisi lazımdır, çünki düzgün fayl da icazə vermək istədiyiniz səhifəni bloklaya bilər.

Botun öz qrupu varsa, o yenə User-agent: * qaydalarına əməl edirmi?

Xeyr. Adı çəkilən qrup həmin bot üçün * qrupunu tamamilə əvəz edir. Hamıya aid olmasını istədiyiniz hər qaydanı adı çəkilən hər qrupda təkrarlamalısınız.

Mənbələr

Digər məqalələr