robots.txt kurallarını bir URL ve belirli bir crawler için nasıl test ederim?
Bir URL'yi tek bir crawler için test etmek üzere, crawler'ın token'ını adıyla anan grubu bulun (hiçbiri anmıyorsa User-agent: *), o gruptaki URL yoluyla eşleşen tüm Allow ve Disallow kurallarını toplayın ve en uzun olanı uygulayın; eşitlikte Allow kazanır. Bunu elle, Google'ın açık kaynak ayrıştırıcısıyla ya da her crawler için ayrı karar gösteren bir denetleyiciyle yapabilirsiniz. Search Console'daki eski robots.txt Test Aracı artık yok; yerine gelen robots.txt raporu bir URL için karar değil, Google'ın neyi çektiğini gösterir.
Bir robots.txt dosyası, kesin bir yanıt gerekene kadar basit görünür: GPTBot bu sayfayı çekebilir mi, ya OAI-SearchBot? Yanıt, crawler'ın hangi grubu seçtiğine ve o grupta hangi kuralın kazandığına bağlıdır; iki adımda da hata yapmak kolaydır. Aşağıda RFC 9309'a göre eşleştirmenin nasıl çalıştığı, dört örnek ve bir dosyayı kendiniz test etmenin üç yolu var.
Bu sayfada
- Google Search Console'daki robots.txt Test Aracı'na ne oldu?
- Bir crawler bir URL'ye izin verilip verilmediğine nasıl karar verir?
- Bir robots.txt test örneğini adım adım gösterebilir misiniz?
- Google'ın açık kaynak robots.txt ayrıştırıcısını nasıl çalıştırırım?
- robots.txt'yi Python'un urllib.robotparser modülüyle test edebilir miyim?
- robots.txt testi geçtiği hâlde crawler neden hâlâ engelleniyor?
- robots.txt'yi tüm AI crawler'ları için aynı anda nasıl kontrol ederim?
Google Search Console'daki robots.txt Test Aracı'na ne oldu?
Kasım 2023'te Google, Search Console'a bir robots.txt raporu ekledi ve robots.txt test aracını kullanımdan kaldırdığını duyurdu. Rapor Ayarlar altındadır ve yalnızca Google'ın crawler'larını kapsar. Şunları gösterir:
- Google'ın mülkünüzün ilk 20 ana makinesi için bulduğu robots.txt dosyaları.
- Her dosyanın getirme durumu (
Fetched,Not Fetched - Not found (404)veyaNot Fetched - Any other reason), Google'ın onu en son ne zaman kontrol ettiği ve bayt cinsinden boyutu. - Dosyadaki sorunlar. Google, hataların bir kuralın kullanılmasını engellediğini, uyarıların ise engellemediğini söylüyor.
- Google'ın son 30 günde çektiği sürümler ve dosyayı düzelttikten sonra yeniden tarama istemek için bir düğme.
Rapor bir URL alıp izin verildi ya da engellendi yanıtı vermez. Bir URL'yi Googlebot için kontrol etmek üzere Google URL Denetimi aracını, yerel test için de açık kaynak robots.txt kütüphanesini gösteriyor. İkisi de GPTBot veya ClaudeBot gibi AI crawler'ları hakkında bir şey söylemez.
Bir crawler bir URL'ye izin verilip verilmediğine nasıl karar verir?
Eşleştirmeyi Robots Exclusion Protocol olan RFC 9309 tanımlar. Google da kendi crawler'ları için aynı davranışı belgeliyor.
- Grubu seçin. User-agent eşleştirmesi büyük/küçük harfe duyarsızdır. Bir ya da daha fazla grup crawler'ın token'ını adıyla anıyorsa kuralları birleştirilir ve
User-agent: *grubu tamamen yok sayılır. Yalnızca adına grup olmayan bir crawler*'ı izler. - Kuralı seçin. Yolu URL ile eşleşen
AllowveDisallowkuralları arasında en çok karaktere sahip olan kazanır. BirAllowile birDisalloweşit uzunluktaysaAllowkazanmalıdır. - Kalıpları okuyun.
*herhangi bir karakter dizisiyle eşleşir,$ise URL'nin sonunu işaretler. Yollar büyük/küçük harfe duyarlıdır; yani/Admin/,/admin/ile eşleşmez. - Eşleşen kural yoksa izin verilmiştir.
/robots.txt'nin kendisine her zaman izin verilir.
robots.txt'nin yanıt kodu, kuralları kadar önemlidir. 4xx yanıtı, crawler'ın her şeyi çekebileceği anlamına gelir; Google 429 dışındaki her 4xx'i dosya yokmuş gibi ele alır. 5xx yanıtı, crawler'ın tüm sitenin engellendiğini varsayması gerektiği anlamına gelir. Google ilk 12 saat taramayı durdurur, ardından 30 güne kadar son sağlam kopyayı kullanır. RFC 9309 crawler'ların en az 500 KiB ayrıştırmasını şart koşar; Google 500 KiB'tan sonrasını yok sayar.
Bir robots.txt test örneğini adım adım gösterebilir misiniz?
İşte varsayılan bir grup ve adıyla anılan iki AI crawler'ı içeren küçük bir robots.txt:
Googlebotve/search/help/billing: izin verildi. Googlebot grubu yok, bu yüzden*grubu geçerli.Disallow: /searchileAllow: /search/helpikisi de eşleşiyor veAllowkuralı daha uzun.GPTBotve/blog/post: engellendi. GPTBot'un kendi grubu var veDisallow: /her yolla eşleşiyor.OAI-SearchBotve/admin/settings: izin verildi. OAI-SearchBot'un kendi grubu var, bu yüzden*grubundakiDisallow: /admin/ona uygulanmıyor. En sık karşılaşılan sürpriz budur; ortak kuralları adıyla anılan her grupta tekrarlayın.OAI-SearchBotve/files/report.pdf: engellendi.Allow: /bir karakterle,Disallow: /*.pdf$yedi karakterle eşleşiyor ve uzun kural kazanıyor.
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$ Eşitlikler daha nadirdir ama aynı mantığı izler. Google'ın belgeleri /folder/page URL'si için allow: /folder ve disallow: /folder örneğini veriyor: ikisi de aynı uzunlukta, bu yüzden URL'ye izin verilir.
Google'ın açık kaynak robots.txt ayrıştırıcısını nasıl çalıştırırım?
Google, robots.txt kurallarını eşleştirmek için üretimde kullandığı C++ kütüphanesini, tek bir URL'yi ve tek bir user agent'ı yerel bir dosyaya karşı test eden küçük bir komut satırı programıyla birlikte yayımlıyor. Bazel kuruluysa:
git clone https://github.com/google/robotstxt.git robotstxt
cd robotstxt/
bazel build :robots_main
# arguments: local robots.txt file, crawler token, full URL
bazel run robots_main -- ~/robots.txt OAI-SearchBot https://example.com/files/report.pdf
# prints ALLOWED or DISALLOWED; exit code 0 means allowed, 1 means disallowed Depo ayrıca bir CMake derlemesini de belgeliyor; bu derleme aynı argümanları alan robots adlı bir ikili dosya üretir. Araç yalnızca ayrıştırır ve eşleştirir; robots.txt'yi indirmez, bu yüzden önce canlı dosyayı kaydedin. README dosyası da ayrıştırma ve eşleştirme dışındaki crawler'a özgü davranışların kütüphanenin parçası olmadığını belirtiyor.
robots.txt'yi Python'un urllib.robotparser modülüyle test edebilir miyim?
Python'un standart kütüphanesinde, bir user agent ve bir URL için izin verildi ya da engellendi yanıtı veren bir ayrıştırıcı var. Bu betik yukarıdaki örneği test eder:
from urllib.robotparser import RobotFileParser
# Paste the robots.txt you want to test, or fetch it yourself first
ROBOTS_TXT = """
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$
"""
tests = [
("Googlebot", "https://example.com/search/help/billing"),
("GPTBot", "https://example.com/blog/post"),
("OAI-SearchBot", "https://example.com/admin/settings"),
("OAI-SearchBot", "https://example.com/files/report.pdf"),
]
rp = RobotFileParser()
rp.parse(ROBOTS_TXT.splitlines())
for agent, url in tests:
print(f"{agent:15} {url} ->", "allowed" if rp.can_fetch(agent, url) else "blocked") Çıktıya güvenmeden önce Python sürümünüzü kontrol edin. RFC 9309 eşleştirme desteği CPython'a 2026'da eklendi ve ilk kez Python 3.13.14 ve 3.14.5 ile geldi. 3.12 ve öncesinin tamamı dahil eski sürümler en uzun kuralı değil, dosya sırasında eşleşen ilk kuralı uygular ve yollar içindeki * ya da $ işaretlerini anlamaz. Bu sürümlerde betik birinci ve dördüncü testi ters bildirir: Googlebot /search/help/billing'den engellenmiş, OAI-SearchBot'un ise PDF'i çekmesine izin verilmiş görünür.
Her sürüm için iki fark daha var. RobotFileParser.read(), robots.txt için 401 veya 403 yanıtını tümünü engelle olarak ele alır; oysa RFC 9309'a göre 4xx her şeyin çekilebileceği anlamına gelir. Ayrıca read() dosyayı Python'un varsayılan user agent'ıyla indirir; bazı güvenlik duvarları bunu engeller, bu yüzden bir test kurallarınızla ilgisi olmayan nedenlerle engellendi diyebilir. Dosyayı yukarıdaki gibi kendiniz çekip parse()'a vermek ikisini de önler.
robots.txt testi geçtiği hâlde crawler neden hâlâ engelleniyor?
Bir test aracı tek bir soruyu yanıtlar: kurallar bu URL'ye izin veriyor mu? Bazı şeyler bu yanıtın dışında kalır:
- Canlı dosya test ettiğinizden farklıdır ya da crawler hâlâ önbellekteki bir kopyayı kullanıyordur. RFC 9309, crawler'ların önbellekteki bir kopyayı 24 saatten uzun kullanmaması gerektiğini söyler; Google da genel olarak 24 saate kadar önbelleğe alır.
- robots.txt URL'si bir HTML sayfası ya da hata döndürür. 200 durumlu bir HTML sayfası geçerli kural içermez, 5xx yanıtı ise tüm siteyi engeller.
- robots.txt bir ricadır, erişim denetimi değildir. Bir güvenlik duvarı, CDN ya da bot koruması crawler'a yine de 403 ya da doğrulama sayfasıyla yanıt verebilir.
robots.txt'yi tüm AI crawler'ları için aynı anda nasıl kontrol ederim?
Ücretsiz AISeeWhy robots.txt denetleyicisi bir sayfa adresi ya da yapıştırılmış bir robots.txt alır ve her AI ve arama crawler'ı için o sayfanın çekilip çekilemeyeceğini gösterir. Ücretsiz robots.txt oluşturucu seçimlerinize göre bir dosya yazar; ücretsiz denetim ise robots.txt'nin izin verdiğini bir güvenlik duvarının engelleyip engellemediğini göstermek için sayfayı 16 crawler olarak çeker.
Bu sorunun düzeltmeleri
- robots.txt GPTBot erişimine izin veriyor, ancak sunucu engelliyor
- robots.txt OAI-SearchBot erişimini yasaklıyor
- robots.txt bir HTML sayfası
- robots.txt alınamıyor
Sonraki adımlar
- Yapay zekâ tarayıcıları için robots.txt test aracı ve denetleyici
- Tam rapor örneğini görün
- Yapay zekâ tarayıcısı izleme
- Planlar ve fiyatlar
Bu makaledeki tarayıcılar
Sık sorulan sorular
Google Search Console'da hâlâ bir robots.txt test aracı var mı?
Hayır. Google onu Kasım 2023'te, Google'ın çektiği dosyaları, durumlarını ve hataları gösteren robots.txt raporuyla değiştirdi. Googlebot'un belirli bir URL'yi tarayıp tarayamayacağını kontrol etmek için URL Denetimi aracını kullanın.
robots.txt'de Allow, Disallow'u geçersiz kılar mı?
Yalnızca Allow kuralı daha uzunsa ya da tam olarak aynı uzunluktaysa. Türü ne olursa olsun, eşleşen yolu en uzun olan kural kazanır; eşitlikte Allow kazanır.
robots.txt büyük/küçük harfe duyarlı mı?
Kısmen. User-agent değeri büyük/küçük harf gözetilmeden eşleştirilir; yani gptbot ile GPTBot aynı grubu adlandırır. Yollar büyük/küçük harfe duyarlıdır; yani Disallow: /Private/, /private/'ı engellemez.
Bir robots.txt doğrulayıcı neyi kontrol eder?
Bir doğrulayıcı dosyanın erişilebilir olduğunu, metin olarak sunulduğunu ve geçerli söz dizimiyle yazıldığını kontrol eder. Bir test aracı bir adım ileri gider ve belirli bir URL ve crawler için karar verir. Genellikle ikisine de ihtiyacınız olur, çünkü geçerli bir dosya da izin vermek istediğiniz bir sayfayı engelleyebilir.
Bir crawler'ın kendi grubu varsa User-agent: * grubunu yine de izler mi?
Hayır. Adıyla anılan bir grup, o crawler için * grubunun yerini tamamen alır. Herkese uygulanmasını istediğiniz her kuralı adıyla anılan her grupta tekrarlamanız gerekir.
Kaynaklar
- Google Search Console Help: robots.txt report
- Search Engine Roundtable: New Google Search Console robots.txt report replaced robots.txt tester tool
- Google Search Central: How Google interprets the robots.txt specification
- Google Search Central: Create and submit a robots.txt file
- RFC 9309: Robots Exclusion Protocol
- GitHub: google/robotstxt
- Python documentation: urllib.robotparser
- CPython source: Lib/urllib/robotparser.py