robots.txt qoidalarini URL va muayyan krauler uchun qanday tekshiraman?

Eʼlon qilingan

Qisqa javob

URLʼni bitta krauler uchun tekshirish uchun kraulerning tokeni nomlangan guruhni toping (agar bunday guruh boʻlmasa, User-agent: *), undagi URL yoʻliga mos keladigan barcha Allow va Disallow qoidalarini yigʻing va eng uzunini qoʻllang; uzunlik teng boʻlsa, Allow ustun keladi. Buni qoʻlda, Googleʼning ochiq kodli parseri bilan yoki har bir krauler uchun xulosa beradigan tekshiruv vositasi bilan qilish mumkin. Search Consoleʼdagi eski robots.txt Tester olib tashlangan, uning oʻrnini egallagan robots.txt hisoboti esa URL boʻyicha xulosani emas, Google nimani yuklaganini koʻrsatadi.

robots.txt fayli aniq javob kerak boʻlgunga qadar oddiy koʻrinadi: GPTBot bu sahifani yuklay oladimi, OAI-SearchBot-chi? Javob krauler qaysi guruhni tanlashiga va shu guruh ichida qaysi qoida ustun kelishiga bogʻliq, ikkala qadamda ham xato qilish oson. Quyida RFC 9309 boʻyicha moslik qanday ishlashi, toʻrtta tahlil qilingan misol va faylni oʻzingiz tekshirishning uchta usuli bor.

Ushbu sahifada
  1. Google Search Consoleʼdagi robots.txt Testerʼga nima boʻldi?
  2. Krauler URLʼga ruxsat berilganini qanday aniqlaydi?
  3. robots.txt testi misolini bosqichma-bosqich koʻrib chiqsak boʻladimi?
  4. Googleʼning ochiq kodli robots.txt parserini qanday ishga tushiraman?
  5. robots.txt ni Python urllib.robotparser bilan tekshirsam boʻladimi?
  6. Nega robots.txt testi oʻtadi, krauler esa baribir bloklanadi?
  7. robots.txt ni barcha AI kraulerlari uchun birdaniga qanday tekshiraman?

Google Search Consoleʼdagi robots.txt Testerʼga nima boʻldi?

2023 yil noyabrida Google Search Consoleʼga robots.txt hisobotini qoʻshdi va robots.txt testerdan voz kechayotganini eʼlon qildi. Hisobot Settings boʻlimida joylashgan va faqat Google kraulerlarini qamrab oladi. U quyidagilarni koʻrsatadi:

Hisobot URL qabul qilib, “ruxsat etilgan” yoki “bloklangan” deb javob bermaydi. Bitta URLʼni Googlebot uchun tekshirish uchun Google URL Inspection vositasini, mahalliy sinov uchun esa oʻzining ochiq kodli robots.txt kutubxonasini tavsiya qiladi. Ularning hech biri GPTBot yoki ClaudeBot kabi AI kraulerlari haqida hech narsa aytmaydi.

Krauler URLʼga ruxsat berilganini qanday aniqlaydi?

Moslikni RFC 9309, yaʼni Robots Exclusion Protocol belgilaydi. Google oʻz kraulerlari uchun xuddi shu xatti-harakatni hujjatlashtiradi.

robots.txt javob kodi uning qoidalari kabi muhim. 4xx javobi krauler hamma narsani yuklashi mumkinligini bildiradi; Google 429 dan boshqa har qanday 4xx ni fayl umuman yoʻqdek qabul qiladi. 5xx javobi krauler butun sayt taqiqlangan deb hisoblashi kerakligini bildiradi. Google dastlabki 12 soat kraul qilishni toʻxtatadi, soʻng 30 kungacha oxirgi yaxshi nusxadan foydalanadi. RFC 9309 kraulerlardan kamida 500 KiB ni tahlil qilishni talab qiladi, Google esa 500 KiB dan keyingi hamma narsani eʼtiborsiz qoldiradi.

robots.txt testi misolini bosqichma-bosqich koʻrib chiqsak boʻladimi?

Mana standart guruh va ikkita nomlangan AI krauleri bor kichik robots.txt:

User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$

Teng holatlar kamroq uchraydi, lekin xuddi shu mantiqqa amal qiladi. Google hujjatlarida /folder/page URLʼi uchun allow: /folder va disallow: /folder holati keltirilgan: ikkalasi bir xil uzunlikda, shuning uchun URLʼga ruxsat beriladi.

Googleʼning ochiq kodli robots.txt parserini qanday ishga tushiraman?

Google robots.txt qoidalarini solishtirish uchun ishlab chiqarishda foydalanadigan C++ kutubxonasini eʼlon qiladi, unda bitta URL va bitta user agentni mahalliy faylga nisbatan sinash uchun kichik buyruq satri dasturi ham bor. Bazel oʻrnatilgan boʻlsa:

git clone https://github.com/google/robotstxt.git robotstxt
cd robotstxt/
bazel build :robots_main
# arguments: local robots.txt file, crawler token, full URL
bazel run robots_main -- ~/robots.txt OAI-SearchBot https://example.com/files/report.pdf
# prints ALLOWED or DISALLOWED; exit code 0 means allowed, 1 means disallowed

Repozitoriyda CMake bilan yigʻish ham hujjatlashtirilgan, u xuddi shu argumentlarga ega robots nomli binar faylni yaratadi. Vosita faqat tahlil qiladi va solishtiradi; u robots.txt ni yuklab olmaydi, shuning uchun avval jonli faylni saqlang. Uning READMEʼsida tahlil va solishtirishdan tashqaridagi kraulerga xos xatti-harakat kutubxonaga kirmasligi ham qayd etilgan.

robots.txt ni Python urllib.robotparser bilan tekshirsam boʻladimi?

Python standart kutubxonasida user agent va URL uchun “ruxsat berilgan” yoki “bloklangan” deb javob beradigan parser bor. Ushbu skript yuqoridagi misolni tekshiradi:

from urllib.robotparser import RobotFileParser

# Paste the robots.txt you want to test, or fetch it yourself first
ROBOTS_TXT = """
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$
"""

tests = [
    ("Googlebot", "https://example.com/search/help/billing"),
    ("GPTBot", "https://example.com/blog/post"),
    ("OAI-SearchBot", "https://example.com/admin/settings"),
    ("OAI-SearchBot", "https://example.com/files/report.pdf"),
]

rp = RobotFileParser()
rp.parse(ROBOTS_TXT.splitlines())
for agent, url in tests:
    print(f"{agent:15} {url}  ->", "allowed" if rp.can_fetch(agent, url) else "blocked")

Natijaga ishonishdan oldin Python versiyangizni tekshiring. RFC 9309 boʻyicha moslikni qoʻllab-quvvatlash CPythonʼga 2026 yilda qoʻshilgan va birinchi marta Python 3.13.14 hamda 3.14.5 da chiqqan. Eski relizlar, jumladan 3.12 va undan oldingi barcha versiyalar eng uzun emas, fayl tartibida birinchi mos kelgan qoidani qoʻllaydi va yoʻllar ichidagi * yoki $ni tushunmaydi. Bu versiyalarda skript birinchi va toʻrtinchi testlarni teskari natija bilan koʻrsatadi: Googlebot /search/help/billing dan bloklangan, OAI-SearchBotʼga esa PDFʼni yuklashga ruxsat berilgan.

Har bir versiyaga yana ikki farq taalluqli. RobotFileParser.read() robots.txt uchun 401 yoki 403 javobini “hammasi taqiqlangan” deb qabul qiladi, RFC 9309 esa 4xx hamma narsani yuklash mumkinligini bildiradi deydi. Bundan tashqari, read() faylni Pythonʼning standart user agenti bilan yuklaydi, uni baʼzi firewallar bloklaydi, shuning uchun test qoidalaringizga aloqasi boʻlmagan sabablarga koʻra “bloklangan” deb koʻrsatishi mumkin. Faylni oʻzingiz yuklab, yuqoridagidek parse()ga uzatish ikkala muammodan ham qutqaradi.

Nega robots.txt testi oʻtadi, krauler esa baribir bloklanadi?

Tester bitta savolga javob beradi: qoidalar bu URLʼga ruxsat beradimi? Bir nechta narsa bu javobdan tashqarida qoladi:

robots.txt ni barcha AI kraulerlari uchun birdaniga qanday tekshiraman?

AISeeWhyʼning bepul robots.txt tekshiruvi sahifa manzilini yoki joylashtirilgan robots.txt ni qabul qiladi va har bir AI va qidiruv krauleri uchun shu sahifani yuklash mumkinligini koʻrsatadi. Bepul robots.txt generatori tanlovlaringiz asosida fayl yozadi, bepul tekshiruv esa robots.txt ruxsat bergan narsani firewall bloklayotganini koʻrsatish uchun sahifani 16 ta krauler sifatida yuklaydi.

Bu muammo uchun tuzatishlar

Bepul asboblar

Keyingi qadamlar

Ushbu maqoladagi kraulerlar

Koʻp beriladigan savollar

Google Search Consoleʼda robots.txt tester hali ham bormi?

Yoʻq. Google uni 2023 yil noyabrida robots.txt hisoboti bilan almashtirdi, u Google yuklagan fayllar, ularning holati va xatolarni koʻrsatadi. Googlebot muayyan URLʼni kraul qila olishini tekshirish uchun URL Inspection vositasidan foydalaning.

robots.txt da Allow Disallowʼdan ustun keladimi?

Faqat Allow qoidasi uzunroq yoki aynan bir xil uzunlikda boʻlsa. Turidan qatʼi nazar, eng uzun mos yoʻlli qoida ustun keladi, teng holatda esa Allow yutadi.

robots.txt katta-kichik harfni farqlaydimi?

Qisman. User-agent qiymati katta-kichik harfga qaramasdan solishtiriladi, shuning uchun gptbot va GPTBot bir xil guruhni bildiradi. Yoʻllar katta-kichik harfni farqlaydi, shuning uchun Disallow: /Private/ /private/ni bloklamaydi.

robots.txt validatori nimani tekshiradi?

Validator fayl ochilishini, matn sifatida berilishini va sintaksisi toʻgʻriligini tekshiradi. Tester bundan uzoqroqqa borib, muayyan URL va krauler uchun xulosa beradi. Odatda ikkalasi ham kerak, chunki toʻgʻri yozilgan fayl ham siz ruxsat bermoqchi boʻlgan sahifani bloklashi mumkin.

Kraulerning oʻz guruhi boʻlsa, u baribir User-agent: * ga amal qiladimi?

Yoʻq. Nomlangan guruh shu krauler uchun * guruhini butunlay almashtiradi. Hammaga taalluqli boʻlishi kerak boʻlgan har qanday qoida har bir nomlangan guruhda takrorlanishi kerak.

Manbalar

Boshqa maqolalar