robots.txt kurallarını bir URL ve belirli bir crawler için nasıl test ederim?

Yayınlanma

Kısa cevap

Bir URL'yi tek bir crawler için test etmek üzere, crawler'ın token'ını adıyla anan grubu bulun (hiçbiri anmıyorsa User-agent: *), o gruptaki URL yoluyla eşleşen tüm Allow ve Disallow kurallarını toplayın ve en uzun olanı uygulayın; eşitlikte Allow kazanır. Bunu elle, Google'ın açık kaynak ayrıştırıcısıyla ya da her crawler için ayrı karar gösteren bir denetleyiciyle yapabilirsiniz. Search Console'daki eski robots.txt Test Aracı artık yok; yerine gelen robots.txt raporu bir URL için karar değil, Google'ın neyi çektiğini gösterir.

Bir robots.txt dosyası, kesin bir yanıt gerekene kadar basit görünür: GPTBot bu sayfayı çekebilir mi, ya OAI-SearchBot? Yanıt, crawler'ın hangi grubu seçtiğine ve o grupta hangi kuralın kazandığına bağlıdır; iki adımda da hata yapmak kolaydır. Aşağıda RFC 9309'a göre eşleştirmenin nasıl çalıştığı, dört örnek ve bir dosyayı kendiniz test etmenin üç yolu var.

Bu sayfada
  1. Google Search Console'daki robots.txt Test Aracı'na ne oldu?
  2. Bir crawler bir URL'ye izin verilip verilmediğine nasıl karar verir?
  3. Bir robots.txt test örneğini adım adım gösterebilir misiniz?
  4. Google'ın açık kaynak robots.txt ayrıştırıcısını nasıl çalıştırırım?
  5. robots.txt'yi Python'un urllib.robotparser modülüyle test edebilir miyim?
  6. robots.txt testi geçtiği hâlde crawler neden hâlâ engelleniyor?
  7. robots.txt'yi tüm AI crawler'ları için aynı anda nasıl kontrol ederim?

Google Search Console'daki robots.txt Test Aracı'na ne oldu?

Kasım 2023'te Google, Search Console'a bir robots.txt raporu ekledi ve robots.txt test aracını kullanımdan kaldırdığını duyurdu. Rapor Ayarlar altındadır ve yalnızca Google'ın crawler'larını kapsar. Şunları gösterir:

Rapor bir URL alıp izin verildi ya da engellendi yanıtı vermez. Bir URL'yi Googlebot için kontrol etmek üzere Google URL Denetimi aracını, yerel test için de açık kaynak robots.txt kütüphanesini gösteriyor. İkisi de GPTBot veya ClaudeBot gibi AI crawler'ları hakkında bir şey söylemez.

Bir crawler bir URL'ye izin verilip verilmediğine nasıl karar verir?

Eşleştirmeyi Robots Exclusion Protocol olan RFC 9309 tanımlar. Google da kendi crawler'ları için aynı davranışı belgeliyor.

robots.txt'nin yanıt kodu, kuralları kadar önemlidir. 4xx yanıtı, crawler'ın her şeyi çekebileceği anlamına gelir; Google 429 dışındaki her 4xx'i dosya yokmuş gibi ele alır. 5xx yanıtı, crawler'ın tüm sitenin engellendiğini varsayması gerektiği anlamına gelir. Google ilk 12 saat taramayı durdurur, ardından 30 güne kadar son sağlam kopyayı kullanır. RFC 9309 crawler'ların en az 500 KiB ayrıştırmasını şart koşar; Google 500 KiB'tan sonrasını yok sayar.

Bir robots.txt test örneğini adım adım gösterebilir misiniz?

İşte varsayılan bir grup ve adıyla anılan iki AI crawler'ı içeren küçük bir robots.txt:

User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$

Eşitlikler daha nadirdir ama aynı mantığı izler. Google'ın belgeleri /folder/page URL'si için allow: /folder ve disallow: /folder örneğini veriyor: ikisi de aynı uzunlukta, bu yüzden URL'ye izin verilir.

Google'ın açık kaynak robots.txt ayrıştırıcısını nasıl çalıştırırım?

Google, robots.txt kurallarını eşleştirmek için üretimde kullandığı C++ kütüphanesini, tek bir URL'yi ve tek bir user agent'ı yerel bir dosyaya karşı test eden küçük bir komut satırı programıyla birlikte yayımlıyor. Bazel kuruluysa:

git clone https://github.com/google/robotstxt.git robotstxt
cd robotstxt/
bazel build :robots_main
# arguments: local robots.txt file, crawler token, full URL
bazel run robots_main -- ~/robots.txt OAI-SearchBot https://example.com/files/report.pdf
# prints ALLOWED or DISALLOWED; exit code 0 means allowed, 1 means disallowed

Depo ayrıca bir CMake derlemesini de belgeliyor; bu derleme aynı argümanları alan robots adlı bir ikili dosya üretir. Araç yalnızca ayrıştırır ve eşleştirir; robots.txt'yi indirmez, bu yüzden önce canlı dosyayı kaydedin. README dosyası da ayrıştırma ve eşleştirme dışındaki crawler'a özgü davranışların kütüphanenin parçası olmadığını belirtiyor.

robots.txt'yi Python'un urllib.robotparser modülüyle test edebilir miyim?

Python'un standart kütüphanesinde, bir user agent ve bir URL için izin verildi ya da engellendi yanıtı veren bir ayrıştırıcı var. Bu betik yukarıdaki örneği test eder:

from urllib.robotparser import RobotFileParser

# Paste the robots.txt you want to test, or fetch it yourself first
ROBOTS_TXT = """
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$
"""

tests = [
    ("Googlebot", "https://example.com/search/help/billing"),
    ("GPTBot", "https://example.com/blog/post"),
    ("OAI-SearchBot", "https://example.com/admin/settings"),
    ("OAI-SearchBot", "https://example.com/files/report.pdf"),
]

rp = RobotFileParser()
rp.parse(ROBOTS_TXT.splitlines())
for agent, url in tests:
    print(f"{agent:15} {url}  ->", "allowed" if rp.can_fetch(agent, url) else "blocked")

Çıktıya güvenmeden önce Python sürümünüzü kontrol edin. RFC 9309 eşleştirme desteği CPython'a 2026'da eklendi ve ilk kez Python 3.13.14 ve 3.14.5 ile geldi. 3.12 ve öncesinin tamamı dahil eski sürümler en uzun kuralı değil, dosya sırasında eşleşen ilk kuralı uygular ve yollar içindeki * ya da $ işaretlerini anlamaz. Bu sürümlerde betik birinci ve dördüncü testi ters bildirir: Googlebot /search/help/billing'den engellenmiş, OAI-SearchBot'un ise PDF'i çekmesine izin verilmiş görünür.

Her sürüm için iki fark daha var. RobotFileParser.read(), robots.txt için 401 veya 403 yanıtını tümünü engelle olarak ele alır; oysa RFC 9309'a göre 4xx her şeyin çekilebileceği anlamına gelir. Ayrıca read() dosyayı Python'un varsayılan user agent'ıyla indirir; bazı güvenlik duvarları bunu engeller, bu yüzden bir test kurallarınızla ilgisi olmayan nedenlerle engellendi diyebilir. Dosyayı yukarıdaki gibi kendiniz çekip parse()'a vermek ikisini de önler.

robots.txt testi geçtiği hâlde crawler neden hâlâ engelleniyor?

Bir test aracı tek bir soruyu yanıtlar: kurallar bu URL'ye izin veriyor mu? Bazı şeyler bu yanıtın dışında kalır:

robots.txt'yi tüm AI crawler'ları için aynı anda nasıl kontrol ederim?

Ücretsiz AISeeWhy robots.txt denetleyicisi bir sayfa adresi ya da yapıştırılmış bir robots.txt alır ve her AI ve arama crawler'ı için o sayfanın çekilip çekilemeyeceğini gösterir. Ücretsiz robots.txt oluşturucu seçimlerinize göre bir dosya yazar; ücretsiz denetim ise robots.txt'nin izin verdiğini bir güvenlik duvarının engelleyip engellemediğini göstermek için sayfayı 16 crawler olarak çeker.

Bu sorunun düzeltmeleri

Ücretsiz araçlar

Sonraki adımlar

Bu makaledeki tarayıcılar

Sık sorulan sorular

Google Search Console'da hâlâ bir robots.txt test aracı var mı?

Hayır. Google onu Kasım 2023'te, Google'ın çektiği dosyaları, durumlarını ve hataları gösteren robots.txt raporuyla değiştirdi. Googlebot'un belirli bir URL'yi tarayıp tarayamayacağını kontrol etmek için URL Denetimi aracını kullanın.

robots.txt'de Allow, Disallow'u geçersiz kılar mı?

Yalnızca Allow kuralı daha uzunsa ya da tam olarak aynı uzunluktaysa. Türü ne olursa olsun, eşleşen yolu en uzun olan kural kazanır; eşitlikte Allow kazanır.

robots.txt büyük/küçük harfe duyarlı mı?

Kısmen. User-agent değeri büyük/küçük harf gözetilmeden eşleştirilir; yani gptbot ile GPTBot aynı grubu adlandırır. Yollar büyük/küçük harfe duyarlıdır; yani Disallow: /Private/, /private/'ı engellemez.

Bir robots.txt doğrulayıcı neyi kontrol eder?

Bir doğrulayıcı dosyanın erişilebilir olduğunu, metin olarak sunulduğunu ve geçerli söz dizimiyle yazıldığını kontrol eder. Bir test aracı bir adım ileri gider ve belirli bir URL ve crawler için karar verir. Genellikle ikisine de ihtiyacınız olur, çünkü geçerli bir dosya da izin vermek istediğiniz bir sayfayı engelleyebilir.

Bir crawler'ın kendi grubu varsa User-agent: * grubunu yine de izler mi?

Hayır. Adıyla anılan bir grup, o crawler için * grubunun yerini tamamen alır. Herkese uygulanmasını istediğiniz her kuralı adıyla anılan her grupta tekrarlamanız gerekir.

Kaynaklar

Diğer makaleler