robots.txt qoidalarini URL va muayyan krauler uchun qanday tekshiraman?
URLʼni bitta krauler uchun tekshirish uchun kraulerning tokeni nomlangan guruhni toping (agar bunday guruh boʻlmasa, User-agent: *), undagi URL yoʻliga mos keladigan barcha Allow va Disallow qoidalarini yigʻing va eng uzunini qoʻllang; uzunlik teng boʻlsa, Allow ustun keladi. Buni qoʻlda, Googleʼning ochiq kodli parseri bilan yoki har bir krauler uchun xulosa beradigan tekshiruv vositasi bilan qilish mumkin. Search Consoleʼdagi eski robots.txt Tester olib tashlangan, uning oʻrnini egallagan robots.txt hisoboti esa URL boʻyicha xulosani emas, Google nimani yuklaganini koʻrsatadi.
robots.txt fayli aniq javob kerak boʻlgunga qadar oddiy koʻrinadi: GPTBot bu sahifani yuklay oladimi, OAI-SearchBot-chi? Javob krauler qaysi guruhni tanlashiga va shu guruh ichida qaysi qoida ustun kelishiga bogʻliq, ikkala qadamda ham xato qilish oson. Quyida RFC 9309 boʻyicha moslik qanday ishlashi, toʻrtta tahlil qilingan misol va faylni oʻzingiz tekshirishning uchta usuli bor.
Ushbu sahifada
- Google Search Consoleʼdagi robots.txt Testerʼga nima boʻldi?
- Krauler URLʼga ruxsat berilganini qanday aniqlaydi?
- robots.txt testi misolini bosqichma-bosqich koʻrib chiqsak boʻladimi?
- Googleʼning ochiq kodli robots.txt parserini qanday ishga tushiraman?
- robots.txt ni Python urllib.robotparser bilan tekshirsam boʻladimi?
- Nega robots.txt testi oʻtadi, krauler esa baribir bloklanadi?
- robots.txt ni barcha AI kraulerlari uchun birdaniga qanday tekshiraman?
Google Search Consoleʼdagi robots.txt Testerʼga nima boʻldi?
2023 yil noyabrida Google Search Consoleʼga robots.txt hisobotini qoʻshdi va robots.txt testerdan voz kechayotganini eʼlon qildi. Hisobot Settings boʻlimida joylashgan va faqat Google kraulerlarini qamrab oladi. U quyidagilarni koʻrsatadi:
- Google resursingizning eng yuqori 20 ta xosti uchun topgan robots.txt fayllari.
- Har bir faylning yuklanish holati (
Fetched,Not Fetched - Not found (404)yokiNot Fetched - Any other reason), Google uni oxirgi marta qachon tekshirgani va baytlardagi hajmi. - Fayldagi muammolar. Google aytishicha, xatolar qoidadan foydalanishga toʻsqinlik qiladi, ogohlantirishlar esa yoʻq.
- Google soʻnggi 30 kunda yuklagan versiyalar va faylni tuzatgandan keyin qayta kraul qilishni soʻrash tugmasi.
Hisobot URL qabul qilib, “ruxsat etilgan” yoki “bloklangan” deb javob bermaydi. Bitta URLʼni Googlebot uchun tekshirish uchun Google URL Inspection vositasini, mahalliy sinov uchun esa oʻzining ochiq kodli robots.txt kutubxonasini tavsiya qiladi. Ularning hech biri GPTBot yoki ClaudeBot kabi AI kraulerlari haqida hech narsa aytmaydi.
Krauler URLʼga ruxsat berilganini qanday aniqlaydi?
Moslikni RFC 9309, yaʼni Robots Exclusion Protocol belgilaydi. Google oʻz kraulerlari uchun xuddi shu xatti-harakatni hujjatlashtiradi.
- Guruhni tanlang. User-agent katta-kichik harfni farqlamasdan solishtiriladi. Agar bir yoki bir nechta guruhda kraulerning tokeni nomlangan boʻlsa, ularning qoidalari birlashtiriladi va
User-agent: *guruhi butunlay eʼtiborga olinmaydi.*ga faqat nomlangan guruhi yoʻq krauler amal qiladi. - Qoidani tanlang. Yoʻli URLʼga mos keladigan
AllowvaDisallowqoidalari orasida eng koʻp belgili qoida ustun keladi.AllowvaDisallowbir xil uzunlikda boʻlsa,Allowustun kelishi kerak. - Shablonlarni oʻqing.
*istalgan belgilar ketma-ketligiga mos keladi,$esa URL oxirini bildiradi. Yoʻllar katta-kichik harfni farqlaydi, shuning uchun/Admin//admin/ga mos kelmaydi. - Mos qoida yoʻq boʻlsa, ruxsat berilgan.
/robots.txtning oʻziga har doim ruxsat bor.
robots.txt javob kodi uning qoidalari kabi muhim. 4xx javobi krauler hamma narsani yuklashi mumkinligini bildiradi; Google 429 dan boshqa har qanday 4xx ni fayl umuman yoʻqdek qabul qiladi. 5xx javobi krauler butun sayt taqiqlangan deb hisoblashi kerakligini bildiradi. Google dastlabki 12 soat kraul qilishni toʻxtatadi, soʻng 30 kungacha oxirgi yaxshi nusxadan foydalanadi. RFC 9309 kraulerlardan kamida 500 KiB ni tahlil qilishni talab qiladi, Google esa 500 KiB dan keyingi hamma narsani eʼtiborsiz qoldiradi.
robots.txt testi misolini bosqichma-bosqich koʻrib chiqsak boʻladimi?
Mana standart guruh va ikkita nomlangan AI krauleri bor kichik robots.txt:
Googlebotva/search/help/billing: ruxsat berilgan. Googlebot guruhi yoʻq, shuning uchun*guruhi qoʻllanadi.Disallow: /searchham,Allow: /search/helpham mos keladi,Allowqoidasi esa uzunroq.GPTBotva/blog/post: bloklangan. GPTBotʼning oʻz guruhi bor vaDisallow: /har qanday yoʻlga mos keladi.OAI-SearchBotva/admin/settings: ruxsat berilgan. OAI-SearchBotʼning oʻz guruhi bor, shuning uchun*guruhidagiDisallow: /admin/unga taalluqli emas. Bu eng koʻp uchraydigan kutilmagan holat; umumiy qoidalarni har bir nomlangan guruhda takrorlang.OAI-SearchBotva/files/report.pdf: bloklangan.Allow: /bitta belgi bilan,Disallow: /*.pdf$yetti belgi bilan mos keladi va uzunroq qoida ustun keladi.
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$ Teng holatlar kamroq uchraydi, lekin xuddi shu mantiqqa amal qiladi. Google hujjatlarida /folder/page URLʼi uchun allow: /folder va disallow: /folder holati keltirilgan: ikkalasi bir xil uzunlikda, shuning uchun URLʼga ruxsat beriladi.
Googleʼning ochiq kodli robots.txt parserini qanday ishga tushiraman?
Google robots.txt qoidalarini solishtirish uchun ishlab chiqarishda foydalanadigan C++ kutubxonasini eʼlon qiladi, unda bitta URL va bitta user agentni mahalliy faylga nisbatan sinash uchun kichik buyruq satri dasturi ham bor. Bazel oʻrnatilgan boʻlsa:
git clone https://github.com/google/robotstxt.git robotstxt
cd robotstxt/
bazel build :robots_main
# arguments: local robots.txt file, crawler token, full URL
bazel run robots_main -- ~/robots.txt OAI-SearchBot https://example.com/files/report.pdf
# prints ALLOWED or DISALLOWED; exit code 0 means allowed, 1 means disallowed Repozitoriyda CMake bilan yigʻish ham hujjatlashtirilgan, u xuddi shu argumentlarga ega robots nomli binar faylni yaratadi. Vosita faqat tahlil qiladi va solishtiradi; u robots.txt ni yuklab olmaydi, shuning uchun avval jonli faylni saqlang. Uning READMEʼsida tahlil va solishtirishdan tashqaridagi kraulerga xos xatti-harakat kutubxonaga kirmasligi ham qayd etilgan.
robots.txt ni Python urllib.robotparser bilan tekshirsam boʻladimi?
Python standart kutubxonasida user agent va URL uchun “ruxsat berilgan” yoki “bloklangan” deb javob beradigan parser bor. Ushbu skript yuqoridagi misolni tekshiradi:
from urllib.robotparser import RobotFileParser
# Paste the robots.txt you want to test, or fetch it yourself first
ROBOTS_TXT = """
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$
"""
tests = [
("Googlebot", "https://example.com/search/help/billing"),
("GPTBot", "https://example.com/blog/post"),
("OAI-SearchBot", "https://example.com/admin/settings"),
("OAI-SearchBot", "https://example.com/files/report.pdf"),
]
rp = RobotFileParser()
rp.parse(ROBOTS_TXT.splitlines())
for agent, url in tests:
print(f"{agent:15} {url} ->", "allowed" if rp.can_fetch(agent, url) else "blocked") Natijaga ishonishdan oldin Python versiyangizni tekshiring. RFC 9309 boʻyicha moslikni qoʻllab-quvvatlash CPythonʼga 2026 yilda qoʻshilgan va birinchi marta Python 3.13.14 hamda 3.14.5 da chiqqan. Eski relizlar, jumladan 3.12 va undan oldingi barcha versiyalar eng uzun emas, fayl tartibida birinchi mos kelgan qoidani qoʻllaydi va yoʻllar ichidagi * yoki $ni tushunmaydi. Bu versiyalarda skript birinchi va toʻrtinchi testlarni teskari natija bilan koʻrsatadi: Googlebot /search/help/billing dan bloklangan, OAI-SearchBotʼga esa PDFʼni yuklashga ruxsat berilgan.
Har bir versiyaga yana ikki farq taalluqli. RobotFileParser.read() robots.txt uchun 401 yoki 403 javobini “hammasi taqiqlangan” deb qabul qiladi, RFC 9309 esa 4xx hamma narsani yuklash mumkinligini bildiradi deydi. Bundan tashqari, read() faylni Pythonʼning standart user agenti bilan yuklaydi, uni baʼzi firewallar bloklaydi, shuning uchun test qoidalaringizga aloqasi boʻlmagan sabablarga koʻra “bloklangan” deb koʻrsatishi mumkin. Faylni oʻzingiz yuklab, yuqoridagidek parse()ga uzatish ikkala muammodan ham qutqaradi.
Nega robots.txt testi oʻtadi, krauler esa baribir bloklanadi?
Tester bitta savolga javob beradi: qoidalar bu URLʼga ruxsat beradimi? Bir nechta narsa bu javobdan tashqarida qoladi:
- Jonli fayl siz tekshirgan fayldan farq qiladi yoki krauler hali ham keshdagi nusxadan foydalanadi. RFC 9309 kraulerlar keshdagi nusxadan 24 soatdan ortiq foydalanmasligi kerakligini aytadi, Google esa odatda 24 soatgacha keshlaydi.
- robots.txt URLʼi HTML sahifa yoki xato qaytaradi. 200 holatli HTML sahifada yaroqli qoidalar yoʻq, 5xx javobi esa butun saytni bloklaydi.
- robots.txt — kirishni boshqarish emas, iltimos. Firewall, CDN yoki botlardan himoya kraulerga baribir 403 yoki challenge sahifasi bilan javob berishi mumkin.
robots.txt ni barcha AI kraulerlari uchun birdaniga qanday tekshiraman?
AISeeWhyʼning bepul robots.txt tekshiruvi sahifa manzilini yoki joylashtirilgan robots.txt ni qabul qiladi va har bir AI va qidiruv krauleri uchun shu sahifani yuklash mumkinligini koʻrsatadi. Bepul robots.txt generatori tanlovlaringiz asosida fayl yozadi, bepul tekshiruv esa robots.txt ruxsat bergan narsani firewall bloklayotganini koʻrsatish uchun sahifani 16 ta krauler sifatida yuklaydi.
Bu muammo uchun tuzatishlar
- robots.txt GPTBot ga ruxsat beradi, lekin server uni bloklaydi
- robots.txt OAI-SearchBot ni taqiqlaydi
- robots.txt — HTML sahifa
- robots.txt ni yuklab boʻlmaydi
Keyingi qadamlar
- AI kraulerlari uchun robots.txt tester va tekshiruvi
- Toʻliq hisobot namunasini koʻring
- AI kraulerlari monitoringi
- Tariflar va narxlar
Ushbu maqoladagi kraulerlar
Koʻp beriladigan savollar
Google Search Consoleʼda robots.txt tester hali ham bormi?
Yoʻq. Google uni 2023 yil noyabrida robots.txt hisoboti bilan almashtirdi, u Google yuklagan fayllar, ularning holati va xatolarni koʻrsatadi. Googlebot muayyan URLʼni kraul qila olishini tekshirish uchun URL Inspection vositasidan foydalaning.
robots.txt da Allow Disallowʼdan ustun keladimi?
Faqat Allow qoidasi uzunroq yoki aynan bir xil uzunlikda boʻlsa. Turidan qatʼi nazar, eng uzun mos yoʻlli qoida ustun keladi, teng holatda esa Allow yutadi.
robots.txt katta-kichik harfni farqlaydimi?
Qisman. User-agent qiymati katta-kichik harfga qaramasdan solishtiriladi, shuning uchun gptbot va GPTBot bir xil guruhni bildiradi. Yoʻllar katta-kichik harfni farqlaydi, shuning uchun Disallow: /Private/ /private/ni bloklamaydi.
robots.txt validatori nimani tekshiradi?
Validator fayl ochilishini, matn sifatida berilishini va sintaksisi toʻgʻriligini tekshiradi. Tester bundan uzoqroqqa borib, muayyan URL va krauler uchun xulosa beradi. Odatda ikkalasi ham kerak, chunki toʻgʻri yozilgan fayl ham siz ruxsat bermoqchi boʻlgan sahifani bloklashi mumkin.
Kraulerning oʻz guruhi boʻlsa, u baribir User-agent: * ga amal qiladimi?
Yoʻq. Nomlangan guruh shu krauler uchun * guruhini butunlay almashtiradi. Hammaga taalluqli boʻlishi kerak boʻlgan har qanday qoida har bir nomlangan guruhda takrorlanishi kerak.
Manbalar
- Google Search Console Help: robots.txt report
- Search Engine Roundtable: New Google Search Console robots.txt report replaced robots.txt tester tool
- Google Search Central: How Google interprets the robots.txt specification
- Google Search Central: Create and submit a robots.txt file
- RFC 9309: Robots Exclusion Protocol
- GitHub: google/robotstxt
- Python documentation: urllib.robotparser
- CPython source: Lib/urllib/robotparser.py